robots.txt文件写法和写法中需要注意的一些问题

SEO基础知识 小伟 1484℃ 0评论

一、什么是robots.txt文件?
搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时,会首先会检查该网站的根域下是否有一个叫做robots.txt的纯文本文件。您可以在您的网站中创建一个纯文本文件robots.txt,在文件中声明该网站中不想被spider访问的部分或者指定搜索引擎只收录特定的部分。这个文件就是 robots.txt 文件。

二、robots.txt文件放置位置:
robots.txt文件应该放置在网站根目录下。举例说明:
当Spoder访问一个网站(比如http://www.woaiseo.com/)时。首先会检查网站根目录中是否存在http://www.woaiseo.com/robots.txt这个文件,如果Spoder在根目录下找到这个文件,它就会根据这个文件的内容,来确定哪些文件是不抓取的,从而确定它访问权限的范围。

三、robots.txt的作用:
1、引导搜索引擎蜘蛛抓取指定栏目或内容;
2、网站改版或者URL重写优化时候屏蔽对搜索引擎不友好的链接;
3、屏蔽死链接、404错误页面;
4、屏蔽无内容、无价值页面;
5、屏蔽重复页面,如评论页、搜索结果页;
6、屏蔽任何不想被收录的页面;
7、引导蜘蛛抓取网站地图;

四、robots.txt基本语法:
1、User-agent:定义搜索引擎。一般情况下,网站里面都是:User-agent: *,这里*的意思是所有,表示定义所有的搜索引擎。比如,我想定义百度,那么就是User-agent: Baiduspider;定义google,User-agent: Googlebot。
2、Disallow:禁止爬取。如,我想禁止爬取我的admin文件夹,那就是Disallow: /admin/。禁止爬取admin文件夹下的login.html,Disallow: /admin/login.html。
3、Allow:允许。我们都知道,在默认情况下,都是允许的。那为什么还要允许这个语法呢?举个例子:我想禁止admin文件夹下的所有文件,除了.html的网页,那怎么写呢?我们知道可以用Disallow一个一个禁止,但那样太费时间很精力了。这时候运用Allow就解决了复杂的问题,就这样写:
Allow: /admin/.html$
Disallow: /admin/
4、$:结束符。例:Disallow: .php$ 这句话的意思是,屏蔽所有的以.php结尾的文件,不管前面有多长的URL,如abc/aa/bb//index.php也是屏蔽的。
5、*:通配符符号0或多个任意字符。例:Disallow: *?* 这里的意思是屏蔽所有带“?”文件,也是屏蔽所有的动态URL。

五、robots.txt文件写法举例说明:
禁止Google/百度等所有搜索引擎访问整个网站
User-agent: *
Disallow: /
允许所有的搜索引擎spider访问整个网站(Disallow:可以用Allow: /替代)
User-agent: *
Disallow:
禁止Baiduspider访问您的网站,Google等其他搜索引擎不阻止
User-agent: Baiduspider
Disallow: /
只允许Google spider: Googlebot访问您的网站,禁止百度等其他搜索引擎
User-agent: Googlebot
Disallow:
User-agent: *
Disallow: /
禁止搜索引擎蜘蛛spider访问指定目录
(spider不访问这几个目录。每个目录要分开声明,不能合在一起)
User-agent: *
Disallow: /cgi-bin/
Disallow: /admin/
Disallow: /~jjjj/
禁止搜索引擎spider访问指定目录,但允许访问该指定目录的某个子目录
User-agent: *
Allow: /admin/far
Disallow: /admin/
使用通配符星号”*”设置禁止访问的url
(禁止所有搜索引擎抓取/cgi-bin/目录下的所有以”.html”格式的网页(包含子目录))
User-agent: *
Disallow: /cgi-bin/*.html
使用美元符号”$”设置禁止访问某一后缀的文件
(只允许访问以”.html”格式的网页文件。)
User-agent: *
Allow: .html$
Disallow: /
阻止google、百度等所有搜索引擎访问网站中所有带有?的动态网址页面
User-agent: *
Disallow: /*?*
阻止Google spider:Googlebot访问网站上某种格式的图片
(禁止访问.jpg 格式的图片)
User-agent: Googlebot
Disallow: .jpg$
只允许Google spider:Googlebot抓取网页和.gif格式图片
(Googlebot只能抓取gif格式的图片和网页,其他格式的图片被禁止;其他搜索引擎未设置)
User-agent: Googlebot
Allow: .gif$
Disallow: .jpg$
只禁止Google spider:Googlebot抓取.jpg格式图片
(其他搜索引擎和其他格式图片没有禁止)
User-agent: Googlebot
Disallow: .jpg$
声明网站地图sitemap
这个告诉搜索引擎你的sitemap在哪,如:
Sitemap: http://www.AAAA.com/sitemap.xml

六、蜘蛛长什么样子:
国内的搜索引擎蜘蛛:
百度蜘蛛:baiduspider
搜狗蜘蛛:sogou spider
有道蜘蛛:YodaoBot和OutfoxBot
搜搜蜘蛛: Sosospider
国外的搜索引擎蜘蛛:
google蜘蛛: googlebot
yahoo蜘蛛:Yahoo! Slurp
alexa蜘蛛:ia_archiver
bing蜘蛛(MSN):msnbot

robots.txt编写的细节性问题:
1.反斜杠的插入
还是以Disallow:/a/b.html为例,在编写该语句的时候,如果忘记加入了反斜杠,则是对全部内容进行开放,这与编写语句的想法相悖,因为反斜杠的意义是根目录。
2.空格的出现
空格的出现就很好理解了,因为搜索引擎对于这个特殊符号的出现并不识别,它的加入只会使语句失去应有的效用。

robots的测试
在百度站长工具中,添加网站后使用左侧的网站抓取工具中的Robots工具,就可以对网站的robots进行测试了,详细见图:robots文件检查

 

关于robots.txt文件的写法和写robots.txt文件时需要注意的问题河北SEO爱好者小伟就先给大家介绍到这里,更多关系SEO方面的知识请关注本网站的跟新。

转载请注明:河北邯郸SEO » robots.txt文件写法和写法中需要注意的一些问题

喜欢 (1)or分享 (0)
发表我的评论
取消评论
表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址