robots.txt禁止搜索引擎收录,robots.txt文件放到根目录下会立即生效吗?

如题所述

你好的!
这个就是放在根目录下的额!
呵呵!
望采纳哦~追问

我是想问是不是可以立即生效啊

追答

是的!
立即生效!
百度蜘蛛是不会抓取的~

追问

User-agent: *
Disallow: /

这是我robots.txt里的内容主要是不想让百度蜘蛛收录我的网站的所有内容,帮我看一下这样写对吗?

追答

对~
正解~

温馨提示:内容为网友见解,仅供参考
无其他回答
相似回答