lol辅助网:搜索引擎蜘蛛抓取策略,如何吸引更多蜘蛛
2022-04-16 来源:118图库
在SEO工作中,有的时候我们很少关心搜索引擎蜘蛛是如何工作的,虽然,它是一个相对复杂的工作系统,但对于SEO人员而言,我们有必要进行详尽的了解,它有利于指导我们有效的工作。
下面解读主流搜索引擎蜘蛛是如何工作的:
一、常见搜索引擎蜘蛛抓取策略:
1、深度优先遍历策略
简单理解,深度优先遍历策略主要是指建立一个起点,按照这个起点的顺序,顺序抓取链条上,没有被抓取的每个节点。但有的时候,面对“无限循环”节点的时候,这一策略便显得捉禁见肘。
2、宽度优先遍历策略
宽度优先便利策略,是早期搜索引擎常用的一种抓取策略,主要流程是提取整个页面中的URL,其中未被抓取的URL,就被放入待抓取列队,以此循环。
3、PR优先策略
RP优先策略是一个非常注明的链接分析方法,它用于衡量网页的重要性,通常它会计算一个页面上URL的PR,按照从高到低的顺序进行抓取。
由于PR值的计算,需要不断的迭代更新,通常这里所采用的都是非完全PageRank策略。
4、反链策略
反链策略,并没有一个明确的官方文档说明,这里小编认为,它主要是基于反链的数量以及种子页面的权威度,二者进行加权评估后,按照优先顺序抓取。
下面解读主流搜索引擎蜘蛛是如何工作的:
一、常见搜索引擎蜘蛛抓取策略:
1、深度优先遍历策略
简单理解,深度优先遍历策略主要是指建立一个起点,按照这个起点的顺序,顺序抓取链条上,没有被抓取的每个节点。但有的时候,面对“无限循环”节点的时候,这一策略便显得捉禁见肘。
2、宽度优先遍历策略
宽度优先便利策略,是早期搜索引擎常用的一种抓取策略,主要流程是提取整个页面中的URL,其中未被抓取的URL,就被放入待抓取列队,以此循环。
3、PR优先策略
RP优先策略是一个非常注明的链接分析方法,它用于衡量网页的重要性,通常它会计算一个页面上URL的PR,按照从高到低的顺序进行抓取。
由于PR值的计算,需要不断的迭代更新,通常这里所采用的都是非完全PageRank策略。
4、反链策略
反链策略,并没有一个明确的官方文档说明,这里小编认为,它主要是基于反链的数量以及种子页面的权威度,二者进行加权评估后,按照优先顺序抓取。