欢迎光临智优营家官方网站!

您贴身的
网络运营管家

 智优学院  / 网站建设 点击返回 > >

抓取网站的蜘蛛是不是越多越好

来源:智优营家    发布日期:2018-10-31    关注:

  做SEO的站长都知道,网站想要有排名首先要有收录,而网站内容收录跟搜索引擎蜘蛛的来访抓取有很大的关系。那么搜索引擎蜘蛛是不是越多越好呢?

  不论是什么搜索引擎爬虫来抓取你的网站,肯定是在消耗你的网站资源,比如网站的连接数、空间流量、服务器负载等。另外,搜索引擎来抓取你的页面之后,也不一定会收用数据,或许只留下“到此一游”的痕迹而已,有些搜索引擎只是过来找它想要的资源,甚至是其他开发人员的蜘蛛测试。

  一个URL结构合理、原创内容丰富的网站简直是各种搜索引擎爬虫的大餐,很多网站的访问流量中,爬虫带来的流量甚至会超过真实用户访问的流量。

  对于那些想提高网站有效利用的网站,虽然设置了相当严格的反爬虫策略,但是网站处理的动态请求数量依然是真实用户访问流量的两倍。可以肯定的说,如今互联网的网络流量有一大部分都是爬虫带来的,所以反搜索引擎爬虫是一个值得探索发现和解决的问题。

长沙网站建设

  因此,站在SEO的观点来看,搜索引擎蜘蛛来网站访问并不是越多越好,并且要合理的屏蔽无效的搜索引擎蜘蛛的抓取。下面为大家整理了一部分搜索引擎蜘蛛的名称。

  1、百度蜘蛛:baiduspider

  2、谷歌蜘蛛:googlebot

  3、360蜘蛛:360spider

  4、SOSO蜘蛛:sosospider

  5、雅虎蜘蛛:”Yahoo!SlurpChina”或者Yahoo!

  6、有道蜘蛛:youdaobot

  7、搜狗蜘蛛:sogounewsspider