11智能在线
新记
robots.txt怎么写,我想禁止访问一个文件夹,不是在根目录
比如:我想禁止访问根目录下Movie文件下面的Drama文件夹,/Movie/Drama,应该怎么写呢?
举报该文章
其他看法
第1个回答 2012-06-24
要是不起作用这个要禁止得怎么写? ...生动的叫做“蜘蛛” 蜘蛛在爬去网站页面之前,会先去访问网站根目录下面的一个文件,就是robots.txt。这个文件...
追问
/Movie/Drama 我想禁止Drama这个文件夹改怎么写呢。。
相似回答
大家正在搜
相关问题
robots.txt禁止访问特定目录下的部分文件怎么写?
如何使用robots.txt文件屏蔽一个文件夹内的所有东西
robots.txt怎么屏蔽根目录文件
robots.txt怎么写?比如我想屏蔽我二级目录ok下的5...
该站robots.txt 禁止baiduspider访问,想...
如何设置robots.txt禁止或只允许搜索引擎抓取特定目录...
怎样写robots.txt,才能不让爬虫抓取某个文件夹中的其...