Robots.txt | 老驴的博客

All posts tagged robots.txt

robots.txt语法检验工具

by 老驴 on 2010/08/27 in SEO工具 with 2 条评论

今天，许昌SEO向大家介绍一个检验robots.txt文件的网站，http://tool.motoricerca.info/robots-checker.phtml，输入你网站的robots.txt路径，就能很方便的检查你网站robots.txt文件语法的正确及有效性，很利于SEO。

robots.txt的语法请参见：robots.txt标准写法

本站robots.txt文件请参见：http://www.0374seo.com/robots.txt

by 老驴 on 2010/07/31 in SEO探研 with 暂无评论

robots.txt协议的使用，其作用强大，我们SEO操作应掌握好这点。

Disallow – User-agent,允许所有蜘蛛采集，disallow告诉蜘蛛不要抓取某些文件或目录。如下面代码将阻止蜘蛛抓取所有的网站文件（/代表跟目录）：
User-agent: *
Disallow: /

Allow – 告诉蜘蛛应该抓取某些文件。Allow和Disallow配合使用，可以告诉蜘蛛某个目录下，大部分都不抓取，只抓取一部分。如下面代码将使蜘蛛不抓取wp-admin目录下其他文件，而只抓取其中ab下的文件：

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/ab
$通配符 -
User-agent: *
Allow: .htm$