蜘蛛怎么爬行（蜘蛛怎么爬行的描写）

蜘蛛怎么爬？

微小的蜘蛛有着灵巧而复杂的身体结构，无愧于食肉动物的称号。蜘蛛的身体简单地分为两部分:头部、胸部和腹部，它们之间有一个小小的腰部连接。头部包括前肢、头部和胸部。腹部旋转器是蜘蛛的旋转器官。蜘蛛有八条分节的腿，所以它们能灵活地爬行。

蜘蛛的眼睛在它们的头前面。大多数蜘蛛有八只大小不一的眼睛，有些有六只，少数没有眼睛，或两只，或四只，或十二只。科学家们仍然不知道为什么蜘蛛的眼睛如此丰富多彩。蜘蛛虽然有很多眼睛，但是视力很一般，看到的东西总是很模糊。可以说，蜘蛛是个可怜的近视眼。

蜘蛛的触肢是用来捕捉猎物的，它们的钳子可以灵活地上下移动(如捕鸟蜘蛛)或平移(大部分蜘蛛)。平移可以使下颚的角度变宽，所以小蜘蛛可以捕捉比自己身体大的猎物。

蜘蛛通过丝囊顶端的突起分泌粘液，这种粘液遇到空气体可以凝结成非常细的丝。蜘蛛腹部有六种腺体；它被称为旋转器。各种腺体产生不同类型的蜘蛛丝。腺体顶端有一个喷丝头，上面有成千上万个小孔。喷出的液体遇到空气体，会凝结成粘性和张力很强的蜘蛛丝。据说一千根蜘蛛丝加在一起比人类的发丝还细十分之一。蜘蛛丝由一种丝心蛋白组成。就具体直径而言，蜘蛛丝的抗拉强度大于钢。

蜘蛛爬行策略有哪些？

在现实的世界中事物之间的联系不是层次关系的较多，用具有层次的模型去表示不是树状的结构是很困难的，这时就可以利用网状模型去解决这一点。在网状模型中最经典的就是蜘蛛策略。

蜘蛛在爬取网页地址是会在其中按顺序进行排列，形成一个队形的结构，调度程序每次就会按顺序送给网页下载器，每个新下载的页面都包含地址末尾，如此形成循环，整个蜘蛛的网状系统都是由它来驱动形成的。

一般而言，蜘蛛爬行有这几种策略：

1、宽度优化遍历策略

宽度优化遍历是一种简单的蜘蛛策略实施的方法，在搜索引擎爬虫出现的时候这种方法就可以使用了。新提出的抓取策略相比这种实施的方法是比较准确的，但应该注意到的是，这种策略也是一种好的办法，很多新方法不见得比宽度优化策略要好，所以至今这种方法任然是实施蜘蛛策略的好办法。

网页爬取顺序基本都是按照网页的排序进行的。之所以如此，有研究人员认为，如果某个网页连接了太多的内容，那么更有助于宽度优化遍历策略更好的实施，而入链这个数从侧面体现了网页的重要性，这种策略能够优化网页的虚拟假设。

2、非完全pagerank策略

PageRank是一种著名的链接分析算法，网页的重要性都是有它来进行判断。很自然地，可以想到用PageRank的思想来蜘蛛策略进行升级。但是这里有个问题，PageRank是对整个连接的全局进行运算，必须在网页下载完成后，其计算结果才是可靠的，而下载网页的手段主要是爬虫进行的，在运行过程中也只有一少部分页面把我们所看见，所以网页处在蜘蛛策略的爬取阶段时是无法获得可靠的PageRank得分的。

3、OPIC策略

OPIC在字面上的理解是对页面的重要计算，可以将其看做是上一种蜘蛛策略的改进版。在算法开始之前，互联网的每个页面都会出现相同的数据，每当下载了某个页面P后，他就会将自己页面中的数据传送给其它页面形成一个网状的结构，而对于待爬取地址队列中的网页，则会根据数据的类型和数据的多少进行排列，优先的下载浏览量多的页面进行分析和保存。

4、大站优化策略

大站优化策略是以网站为单位来选择网页数据的重要性，对于待爬取地址队列中的网页根据数据的类型进行分类，如果哪个网站的数据或是浏览量最多，则会优化先下载这些链接，其直接的思想就是尽可能的下载最大量的数据网站。因为大型网站往往包含更多的页面。一般大型网站都是国内比较著名的互联网，其网页质量一般较高，所以这方法是很简单也是很实用的。实验表明这个算法效果也要略优先于宽度优先遍历策略。

5、网页更新策略

互联网的最大特征就是它的动态性，它也无时无刻都在产生着海量的数据，随时都有新出现的页面，而新的页面有可能被更改也有可能被删除。对于爬虫来说，并非将页面中的纪录和数据保存下来就完事，也要体现出互联网这种动态性。本地下载可以看做是对于网页数据的监视和存储，爬虫要尽可能保证其一致性。如果有一个网页已被删除或者内容做出重大变动，而搜索引擎却是对它毫不知情的，仍然按原有的数据进行整理，将其作为搜索结果提供给用户，其用户就可能会得到错误的数据信息。