lol辅助网：搜索引擎蜘蛛抓取策略，如何吸引更多蜘蛛(4)

这里给大家的建议是，做外链的时候，不要只做首页外链，偶尔做一做栏目和聚合页面的外链也还是不错的哦~
有些时候，URL短，蜘蛛可能也会觉得这个链接的权重哦，所以，最好只做一级栏目，然后就是文章页面。

三、搜索引擎蜘蛛地址库
搜索引擎蜘蛛有一个专门的地址库，用来存放已经被发现的URL（已被抓取和未被抓取的都算，只要是被发现的URL都算），这样就不会出现重复爬行和抓取页面的情况了。
1、地址库URL来源
蜘蛛抓取的页面中发现的新的URL；
站长后台自主提交的URL；
站长后台提交的XML地图中的URL；
站长后台提交的网站URL；
2、对于未被抓取的URL
对于未被抓取的URL，不管是以什么方式获取的，哪怕是搜索引擎蜘蛛自己发现的，也会先放入地址库中，然后在做统一抓取。
四、页面数据存储
搜索引擎蜘蛛将抓取的页面数据会存入搜索引擎的原始页面数据库中，其实，就可以理解为快照中看到的页面数据，和用户看到的是一样的，每一个页面的URL地址都有一个唯一的编号。
五、原创内容检测