robots.txt禁止访问特定目录下的部分文件怎么写？

Allow:/a/b 是允许访问a目录下的b文件
那 Disallw: /a/b 是不是就是表示禁止访问a目录下的b 文件啊？

因为我的根目录下有个images文件夹，我把它禁止了，可根目录下的另一个文件夹中还包含一个images文件夹呢？我想把这个也禁止访问，是需要Disallw: /a/b 这样写路径呢？还是禁止过images文件后，其余的所有images文件都背禁止了呢？
我禁止访问根目录下的images文件了，但是根目录下还有其他文件，例如：a文件，然后a文件里还有个images文件，我之前禁止的对这个起作用吗？要是不起作用这个要禁止得怎么写？

举报该文章

其他看法

第1个回答 2011-03-17

生动的叫做“蜘蛛”

蜘蛛在爬去网站页面之前，会先去访问网站根目录下面的一个文件，就是robots.txt。这个文件其实就是给“蜘蛛”的规则，如果没有这个文件，蜘蛛会认为你的网站同意全部抓取网页。

Robots.txr文件是一个纯文本文件，可以告诉蜘蛛哪些页面可以爬取（收录），哪些页面不能爬取。

举个例子：建立一个名为robots.txt的文本文件，然后输入

User-agent: * 星号说明允许所有搜索引擎收录
Disallow: index.php? 表示不允许收录以index.php?前缀的链接，比如index.php?=865
Disallow: /tmp/ 表示不允许收录根目录下的tmp目录，包括目录下的文件，比如tmp/232.html追问

我的意思是：我禁止访问根目录下的images文件了，但是根目录下还有其他文件，例如：a文件，然后a文件里还有个images文件，我之前禁止的对这个起作用吗？要是不起作用这个要禁止得怎么写？
帮忙解惑，谢谢了

本回答被提问者采纳

第2个回答 2014-06-23

不想被扫描到的,写上绝对路径,
基本上可以理解为一一对应,总之绝对路径　

相似回答

大家正在搜