robot.txt的主要功能

有人会问，既然robots文件没有准备好，或者出现了错误，会影响整个网站的收录，为什么还要这个文件呢？

其实robots是给有特殊情况的站长用的，因为有些网站有一些站长不希望被任何搜索引擎收录的页面，所以这个robots文件是有的。

robots.txt文件用法示例:

1.禁止所有搜索引擎访问网站的任何部分。

用户代理:*

不允许:/

2.允许所有机器人访问

用户代理:*

不允许:

(或者可以构建空文件/robots.txt文件)

3.禁止搜索引擎的访问。

用户代理:BadBot

不允许:/

4.允许搜索引擎的访问

用户代理:Baiduspider

不允许:

用户代理:*

不允许:/

5.假设一个网站有三个限制搜索引擎访问的目录。可以这样写:

用户代理:*

不允许:/cgi-bin/

不允许:/tmp/

不允许:/joe/

需要注意的是，每个目录必须单独声明，而不是写成“Disallow: /cgi-bin/ /tmp/”。

User-agent:后面的*(通配符)有特殊含义，代表“任何机器人”，所以不能有“disallow:/tmp/*”或“disallow: *”之类的记录。gif”文件中。

另外，robots.txt主要用于保证网络安全和网站隐私，百度蜘蛛遵循robots.txt协议。通过根目录下创建的纯文本文件robots.txt，网站可以声明哪些页面不想被百度蜘蛛抓取收录。每个网站可以自主控制网站是否愿意被百度蜘蛛收录，或者指定百度蜘蛛只收录指定的内容。百度蜘蛛在访问一个站点时，会先检查该站点的根目录下是否存在robots.txt。如果文件不存在，爬虫将沿着链接爬行。如果是，爬虫将根据文件的内容确定访问范围。

robots具体体现是？

robots是网站跟爬虫间的协议，用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限，尽管只要放在根域名目录下，未设置系统级目录访问权限的文件爬虫都可以抓取的到，但网站跟搜索引擎间如果没有协议，将使不可预知的大量信息泄露到网上，这不是双方愿意看到的。这种约定说到本质是人与人之间的君子约定。除此外，它还有跟nofollow一样提升SEO效率的功用

怎么样限制bing的使用？

限制bing的使用有两种解决方式：

第一种： 通过bing提供的web master tools工具设置。

注册好，认证完网站后， 可在左侧配置菜单中选择“爬网控件”进行配置。

限制Bing搜索引擎抓取频率，降低服务器负载，设置好时区， 然后拖动时间条进行管理。 非常方便。

第二种，这种方式比较暴力， 直接控制robots.txt文件进行控制。 

可以在robots.txt里面增加crawl-delay 这个参数。

User-agent: bingbot

Crawl-delay: 1

上面的代码代表bingbot限制抓取频率为慢。

如果不设置Crawl-delay就代表由搜索引擎自己决定抓取频率。这个值可以设置1、5、10，分别对应慢、非常慢、极慢。

什么是robots.txt文件？

robots.txt 也就 robots协议，是搜索引擎中访问网站的时候要查看的第一个文件。通过robots.txt文件告诉搜索引擎蜘蛛哪些页面可以抓取，哪些页面不能抓取。