您贴身的
网络运营管家

　　做SEO的站长都知道，网站想要有排名首先要有收录，而网站内容收录跟搜索引擎蜘蛛的来访抓取有很大的关系。那么搜索引擎蜘蛛是不是越多越好呢？

　　不论是什么搜索引擎爬虫来抓取你的网站，肯定是在消耗你的网站资源，比如网站的连接数、空间流量、服务器负载等。另外，搜索引擎来抓取你的页面之后，也不一定会收用数据，或许只留下“到此一游”的痕迹而已，有些搜索引擎只是过来找它想要的资源，甚至是其他开发人员的蜘蛛测试。

　　一个URL结构合理、原创内容丰富的网站简直是各种搜索引擎爬虫的大餐，很多网站的访问流量中，爬虫带来的流量甚至会超过真实用户访问的流量。

　　对于那些想提高网站有效利用的网站，虽然设置了相当严格的反爬虫策略，但是网站处理的动态请求数量依然是真实用户访问流量的两倍。可以肯定的说，如今互联网的网络流量有一大部分都是爬虫带来的，所以反搜索引擎爬虫是一个值得探索发现和解决的问题。

　　因此，站在SEO的观点来看，搜索引擎蜘蛛来网站访问并不是越多越好，并且要合理的屏蔽无效的搜索引擎蜘蛛的抓取。下面为大家整理了一部分搜索引擎蜘蛛的名称。

　　1、百度蜘蛛：baiduspider

　　2、谷歌蜘蛛：googlebot

　　3、360蜘蛛：360spider

　　4、SOSO蜘蛛：sosospider

　　5、雅虎蜘蛛：”Yahoo!SlurpChina”或者Yahoo!

　　6、有道蜘蛛：youdaobot

　　7、搜狗蜘蛛：sogounewsspider