lol辅助网：搜索引擎蜘蛛抓取策略，如何吸引更多蜘蛛(2)

5、社会化媒体分享策略
社会化媒体分析策略，主要是指一个URL在社交媒体中的流行度，它的转载量，评论，转发量，综合指标的评估。
如果你的URL最先没有在百度网址提交，而是出现在社交媒体中，比如：头条文章，也是很有可能被百度抓取的。
6、爬行原理
搜索引擎蜘蛛访问网页的过程，就好比用户使用的浏览器。
搜索引擎蜘蛛向页面发出访问请求，该页面的服务器则返回该页面的HTML代码。
搜索引擎蜘蛛将收到的HTML代码存入搜索引擎的原始页面数据库中。
7、如何爬行
为了提高搜索引擎蜘蛛的工作效率，通常采用多个蜘蛛并发分布爬行。
同时，分布爬行还分为两种模式：深度优先和广度优先。
深度优先：沿着发现的链接一直爬行，直到没有任何链接。
广度优先：先这一页面上的所有链接爬行完毕之后，才会沿着第二层页面继续这样爬行。
8、蜘蛛必遵守的协议
搜索引擎蜘蛛在访问网站之前，都会先访问网站根目录下的robots.txt文件。
搜索引擎蜘蛛不会去抓取robots.txt文件中禁止爬行的文件或目录。
9、常见搜索引擎蜘蛛
百度蜘蛛：Baiduspider
谷歌蜘蛛：Googlebot
360蜘蛛：360Spider
SOSO蜘蛛：Sosospider