robots.txt文件应该放在网站根目录下，用好robots是很容易为你网站提权的。
robots.txt其实就是个记事本文件，这个文件应该放到网站的根目录
如想让蜘蛛抓取你的所有页面，可以上传一个空的记事本文件命名为“robots.txt”上传到根目录即可
robots.txt其实就是个记事本文件，这个文件应该放到网站的根目录
如想让蜘蛛抓取你的所有页面，可以上传一个空的记事本文件命名为“robots.txt”上传到根目录即可
温馨提示：内容为网友见解，仅供参考
第1个回答 2011-06-03
网址/robots.txt 直接在浏览器中打开....采纳谢谢,
比如百度..就是 baidu.com/robots.txt
比如百度..就是 baidu.com/robots.txt
第2个回答 2011-05-30
这只是你为你网站设置的一个搜索引擎查看设计 在你服务器上可以看 具体在那就看你的
相似回答
