robots.txt如何禁止百度搜索引擎抓取网站某个链接

用robots.txt该如何屏蔽呢?这样子写对吗?Disallow:某个链接

第1个回答  2013-10-14
应该是这样的,在ROBOTS.TXT文件里写入这些代码:
User-agent: *

Disallow:某个链接

就可以了,望采纳!
第2个回答  2013-10-12
禁止百度蜘蛛抓取本站所有链接:

User-agent: Baiduspider
Disallow: /

User-agent: baiduspider
Disallow: /

单个链接的话可以直接写出。最好是写链接的目录形式。追问

这个我懂得 我只要某个链接不被抓取 而且这个连接不是本站的 。

追答

某个链接写上就可以应该。

不是本站的?只能是对应网站的robots进行限制啊。网站a不能限制蜘蛛抓网站b吧。

本回答被提问者采纳
相似回答