如何查看自己网站的robots.txt文件？求上级解决。

机器人放在服务器的根目录下，所以如果你想查看，只要在IE上输入http:// your website /robots.txt即可。如果想检查分析机器人，有专业的相关工具。

站长工具都可以！

怎么查看一个网站是用什么程序？

看网站的robots.txt文件，织梦cms看协议中是否有屏蔽/plus，wordprss看有没有屏蔽wp-admin或wp-includes，或者在网站url后面输入wp-admin看有没有进入网站登录页面discuz论坛url正常是forum-44-1.html或thread-2162-1-1.html结尾当然还可以去页面的底部或者去页面源代码看看是不是有遗漏的网站程序的版权信息，但是很多网站都会将版权信息删掉

什么是robots.txt文件？

robots.txt 也就 robots协议，是搜索引擎中访问网站的时候要查看的第一个文件。通过robots.txt文件告诉搜索引擎蜘蛛哪些页面可以抓取，哪些页面不能抓取。

什么叫网站robots权限限制？

robots是网站跟爬虫间的协议，用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限，

也就是说robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。当一个搜索蜘蛛访问

一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会

按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站

上所有没有被口令保护的页面。

 

网站里的“robots”文件是什么意思？

搜索引擎爬去我们页面的工具叫做搜索引擎机器人，也生动的叫做“蜘蛛”

蜘蛛在爬去网站页面之前，会先去访问网站根目录下面的一个文件，就是robots.txt。这个文件其实就是给“蜘蛛”的规则，如果没有这个文件，蜘蛛会认为你的网站同意全部抓取网页。

Robots.txr文件是一个纯文本文件，可以告诉蜘蛛哪些页面可以爬取（收录），哪些页面不能爬取。

举个例子：建立一个名为robots.txt的文本文件，然后输入User-agent: * 星号说明允许所有搜索引擎收录Disallow: index.php? 表示不允许收录以index.php?前缀的链接，比如index.php?=865Disallow: /tmp/ 表示不允许收录根目录下的tmp目录，包括目录下的文件，比如tmp/232.html