lol辅助网：搜索引擎蜘蛛抓取策略，如何吸引更多蜘蛛(3)

有道蜘蛛：YoudaoBot，YodaoBot
搜狗蜘蛛：Sogou News Spider
必应蜘蛛：bingbot
头条蜘蛛：Bytespider
Alexa蜘蛛：ia_archiver

二、如何吸引更多搜索引擎蜘蛛
互联网信息爆炸，搜索引擎蜘蛛不可能将所有网站的所有链接全部爬行到，那么如何吸引更多的搜索引擎蜘蛛到我们网站上来爬行变得非常重要。
1、 导入链接
无论是外部链接，还是内部链接，只有有导入，才能被搜索引擎蜘蛛知道该页面的存在。所以，多多做外链建设有助于吸引更多蜘蛛来访。
2、页面更新频率
页面更新频率越高，搜索引擎蜘蛛来访的次数也会越多。
3、网站和页面权重
整个网站的权重以及某一页面的权重（包括首页也是页面）影响着蜘蛛的来访频率，权重高、权威性强的网站一般都会增加搜索引擎蜘蛛的好感。
4、与首页的距离
首页>一级目录>二级目录>三级目录>四级目录…很显然，目录越深蜘蛛来访的几率和次数就会越少，因为一般外链都是指向首页的，首页再向下爬行，只会越来越少。