时间:2009-9-29 作者:admin 浏览量:()
很多网站管理员,都拥有Google网站管理员账号,但在其功能中有一栏分析robots.txt,从操作上来说,有些不能理解,这里为您介绍Google管理员工具中的Robots.txt文件使用说明:
Google网站管理员里有一个分析robots.txt工具,可以帮助我们分析robots.txt是否成功设置了阻止Google蜘蛛对特定网页的访问,以及robots.txt是否有语法错误等等。
1. https://www.google.com/webmasters/tools/
进入后,选择你要分析的网站,然后选择工具>>分析robots.txt
2. 进入后你可以看到有关你网站的robots.txt的基本信息

3.下面是一个文本框列出了你网站的robots.txt文件的内容

在这个文本框中你可以修改robots.txt内容,以进行测试,注意,在这个文本框修改此文本时,并未更改网站上的 robots.txt 文件。在这里测试完 robots.txt 更改后,还要对网站上的文件进行相应更改。
4. 要测试目标文件是否被阻止,只要在下面的文本框输入要测试的网址就好了。还可以选择要测试的Googlebot。如果你测试的是图片,可以选择Google图片搜索蜘蛛。

5. 之后就可以看到测试的结果

也可参考本站关于“robots.txt使用说明”一文~~~


