您贴身的
网络运营管家

　　Robots通俗来说就是你的网站跟各大搜索引擎蜘蛛之间的沟通方式，可以通过这个文件告诉搜索引擎的蜘蛛哪些文件可以被抓取，哪些文件不能被蜘蛛抓取。智优营家seo团队小隆经常会碰到客户网站robots全站屏蔽蜘蛛，这样的情况网站是不可能会被收录的。

　　因为一个网站并非是所有的文件都跟排名有关系的，有些文件不能直接参与排名，例如网站的css文件，js文件以及一些死链接等。对于这些没有排名价值的文件我们就需要给它屏蔽掉，屏蔽以后让蜘蛛把更多的精力放在有排名价值的页面上。

　　robots文件全称是robots.txt,文件名需小写并放在网站的根目录下面。通过输入域名加robots.txt就可以查看到网站的robots文件。

　　强调下：并非是所有公司的网站都有这个文件，有很多公司网站没有这样的文件。如果没有这样的文件，那么我们就建议给网站添加这个文件。因为蜘蛛在抓取你网站的时候首先就会检测你的站点下面有没有这个文件，如果有，蜘蛛会按照你上面所写的指定文件进行抓取，如果没有这个文件，蜘蛛则会全部抓取。下面以www.zhiuseo.com/robots.txt为例：

　　robots的内容包括什么？

　　robots文件的具体写法

　　User-agent:蜘蛛的名称

　　*是一个通配符代表的是所有搜索引擎蜘蛛的名称

　　Disallow:禁止抓取的文件名称

　　Allow:允许抓取的文件名称

　　以后我们在书写这个文件的时候基本上是Disallow记录写的比较多一点，除了禁止剩下都是允许的。

　　Disallow:/admin禁止抓取admin这个目录，那么这个admin目录就不能被收录

　　Disallow:/a/*.htm禁止抓取a目录下面所有以.htm结尾的文件不能被抓取收录

　　这条记录表名你的网站全部禁止抓取收录，这样的记录正常情况下不能使用。当我们的网站在改版或者换模板情况下，肯定会存在死链接，所以我们在改版或者换模板前直接使用这个记录申请闭站保护。

　　Disallow:/*？*禁止抓取网站所有的带有？的网址（禁止抓取动态网址）

　　DISallow:/Show.asp?id=870

　　建议你要是书写禁止动态网址你可以具体化写出来禁止的路径。

　　Disallow:/.jpg$禁止抓取网站所有以.jpg格式的图片

　　Disallow:/img

　　Disallow:/img1

　　Disallow:/ab/abc.html

　　最安全最保险的最笨的方法禁止某个文件不被抓取

　　在书写这个robots文件的时候一定要注意需要结合不同的网站，那么书写的禁止文件目录名称都是不一样的。所以你想写好这个文件，你就要知道网站的根目录的文件都是干嘛的，了解哪些目录对于排名有价值，哪些目录文件对于排名没价值。

　　智优营家seo团队小隆在书写robots过程中会有两个注意点，第一是尽量禁止蜘蛛访问无意义的内容，因为蜘蛛到访的时间有限，重要的内容才是它的重点；第二是需要出现网站地图的位置，让蜘蛛能快速了解你的网站所有内容，这样蜘蛛才能发现你的变化和重点的内容。这就是智优营家seo团队在设置robots会注意到的地方，你get到了么？