一、什么是robots.txt文件?
搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做robots.txt的纯文本文件。您可以在您的网站中创建一个纯文本文件robots.txt，在文件中声明该网站中不想被spider访问的部分或者指定搜索引擎只收录特定的部分。这个文件就是 robots.txt 文件。

二、robots.txt文件放置位置：
robots.txt文件应该放置在网站根目录下。举例说明：
当Spoder访问一个网站(比如http://www.woaiseo.com/)时。首先会检查网站根目录中是否存在http://www.woaiseo.com/robots.txt这个文件，如果Spoder在根目录下找到这个文件，它就会根据这个文件的内容，来确定哪些文件是不抓取的，从而确定它访问权限的范围。

三、robots.txt的作用：
1、引导搜索引擎蜘蛛抓取指定栏目或内容；
2、网站改版或者URL重写优化时候屏蔽对搜索引擎不友好的链接；
3、屏蔽死链接、404错误页面；
4、屏蔽无内容、无价值页面；
5、屏蔽重复页面，如评论页、搜索结果页；
6、屏蔽任何不想被收录的页面；
7、引导蜘蛛抓取网站地图；

四、robots.txt基本语法：
1、User-agent:定义搜索引擎。一般情况下，网站里面都是：User-agent: *，这里*的意思是所有，表示定义所有的搜索引擎。比如，我想定义百度，那么就是User-agent: Baiduspider;定义google，User-agent: Googlebot。
2、Disallow:禁止爬取。如，我想禁止爬取我的admin文件夹，那就是Disallow: /admin/。禁止爬取admin文件夹下的login.html，Disallow: /admin/login.html。
3、Allow:允许。我们都知道，在默认情况下，都是允许的。那为什么还要允许这个语法呢?举个例子：我想禁止admin文件夹下的所有文件，除了.html的网页，那怎么写呢?我们知道可以用Disallow一个一个禁止，但那样太费时间很精力了。这时候运用Allow就解决了复杂的问题，就这样写：
Allow: /admin/.html$
Disallow: /admin/
4、$:结束符。例：Disallow: .php$ 这句话的意思是，屏蔽所有的以.php结尾的文件，不管前面有多长的URL，如abc/aa/bb//index.php也是屏蔽的。
5、*:通配符符号0或多个任意字符。例：Disallow: *?* 这里的意思是屏蔽所有带“?”文件，也是屏蔽所有的动态URL。

五、robots.txt文件写法举例说明:
禁止Google/百度等所有搜索引擎访问整个网站
User-agent: *
Disallow: /
允许所有的搜索引擎spider访问整个网站(Disallow:可以用Allow: /替代)
User-agent: *
Disallow:
禁止Baiduspider访问您的网站，Google等其他搜索引擎不阻止
User-agent: Baiduspider
Disallow: /
只允许Google spider： Googlebot访问您的网站，禁止百度等其他搜索引擎
User-agent: Googlebot
Disallow:
User-agent: *
Disallow: /
禁止搜索引擎蜘蛛spider访问指定目录
(spider不访问这几个目录。每个目录要分开声明，不能合在一起)
User-agent: *
Disallow: /cgi-bin/
Disallow: /admin/
Disallow: /~jjjj/
禁止搜索引擎spider访问指定目录，但允许访问该指定目录的某个子目录
User-agent: *
Allow: /admin/far
Disallow: /admin/
使用通配符星号”*”设置禁止访问的url
(禁止所有搜索引擎抓取/cgi-bin/目录下的所有以”.html”格式的网页(包含子目录))
User-agent: *
Disallow: /cgi-bin/*.html
使用美元符号”$”设置禁止访问某一后缀的文件
(只允许访问以”.html”格式的网页文件。)
User-agent: *
Allow: .html$
Disallow: /
阻止google、百度等所有搜索引擎访问网站中所有带有?的动态网址页面
User-agent: *
Disallow: /*?*
阻止Google spider：Googlebot访问网站上某种格式的图片
(禁止访问.jpg 格式的图片)
User-agent: Googlebot
Disallow: .jpg$
只允许Google spider：Googlebot抓取网页和.gif格式图片
(Googlebot只能抓取gif格式的图片和网页，其他格式的图片被禁止；其他搜索引擎未设置)
User-agent: Googlebot
Allow: .gif$
Disallow: .jpg$
只禁止Google spider：Googlebot抓取.jpg格式图片
(其他搜索引擎和其他格式图片没有禁止)
User-agent: Googlebot
Disallow: .jpg$
声明网站地图sitemap
这个告诉搜索引擎你的sitemap在哪，如：
Sitemap： http://www.AAAA.com/sitemap.xml

六、蜘蛛长什么样子：
国内的搜索引擎蜘蛛:
百度蜘蛛：baiduspider
搜狗蜘蛛：sogou spider
有道蜘蛛：YodaoBot和OutfoxBot
搜搜蜘蛛： Sosospider
国外的搜索引擎蜘蛛:
google蜘蛛： googlebot
yahoo蜘蛛：Yahoo！ Slurp
alexa蜘蛛：ia_archiver
bing蜘蛛（MSN）：msnbot

robots.txt编写的细节性问题：
1.反斜杠的插入
还是以Disallow:/a/b.html为例，在编写该语句的时候，如果忘记加入了反斜杠，则是对全部内容进行开放，这与编写语句的想法相悖，因为反斜杠的意义是根目录。
2.空格的出现
空格的出现就很好理解了，因为搜索引擎对于这个特殊符号的出现并不识别，它的加入只会使语句失去应有的效用。

robots的测试
在百度站长工具中，添加网站后使用左侧的网站抓取工具中的Robots工具，就可以对网站的robots进行测试了，详细见图：

关于robots.txt文件的写法和写robots.txt文件时需要注意的问题SEO爱好者小伟就先给大家介绍到这里，更多关系SEO方面的知识请关注本网站的跟新。

转载请注明：小伟SEO » robots.txt文件写法和写法中需要注意的一些问题