用robots.txt该如何屏蔽呢?这样子写对吗?Disallow:某个链接
这个我懂得 我只要某个链接不被抓取 而且这个连接不是本站的 。
某个链接写上就可以应该。不是本站的?只能是对应网站的robots进行限制啊。网站a不能限制蜘蛛抓网站b吧。