User-agent: *
Disallow: /
对，就是这样写的，很规范的，参见《百度搜索帮助中心-禁止搜索引擎收录的方法》
网站不想让搜索引擎抓取怎么做?
网站robots.txt设置好即可 怎么写Robots.txt文件？遵循语法的Robots.txt才可能被机器人识别，至于语法，介绍起来很繁琐，现简单举例如下：1）禁止所有搜索引擎访问网站的任何部分（也就是网站彻底的拒绝所有搜索引擎收录）User-agent:Disallow: \/ 2）允许所有的robot访问（也就是网站允许所有搜索引擎收录）Use...
robots.txt 限制访问部分目录可以吗
您好可以的 具体这样写就可以了 Robots协议用来告知搜索引擎哪些页面能被抓取，哪些页面不能被抓取；可以屏蔽一些网站中比较大的文件，如：图片，音乐，视频等，节省服务器带宽；可以屏蔽站点的一些死链接。方便搜索引擎抓取网站内容；设置网站地图连接，方便引导蜘蛛爬取页面。文件写法 User-agent: * 这里的...
robots.txt有什么用
其实robots是给有特殊情况的站长用的，因为有些网站有一些站长不希望被任何搜索引擎收录的页面，所以这个robots文件是有的。robots.txt文件用法示例:1.禁止所有搜索引擎访问网站的任何部分。用户代理:不允许:\/ 2.允许所有机器人访问 用户代理:不允许:(或者可以构建空文件\/robots.txt文件)3.禁止搜索引擎的...
如何禁止蜘蛛爬行robot
这里要说明的是Robots.txt文件只能起到阻止搜索引擎索引。Robots.txt写法1.如果你站点中的所有文件，都可以让蜘蛛爬取、收录的话，那么语法这样写:User-agent: *Disallow:当然，如果你网站中全部的文件都可以让搜索引擎索引的话，你也可以不管这个文件。2.完全禁止搜索引擎来访的Robots.txt文件写法:User-a...
如何书写robots.txt
也就是说robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。当一个搜索蜘蛛访问 一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会 按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站 上所有没有被口令保护的页面。机器人...
robots.txt如何禁止百度搜索引擎抓取网站某个链接
禁止百度蜘蛛抓取本站所有链接：User-agent: Baiduspider Disallow: \/ User-agent: baiduspider Disallow: \/ 单个链接的话可以直接写出。最好是写链接的目录形式。
怎样写robots.txt禁止搜索引擎收录网站的一个页面?
《一》User-agenet：用来定义搜索引擎。写法如：User-agent：*（或者搜索引擎的蜘蛛的名字）。《二》Disallow： 是禁止语法，用来定义禁止蜘蛛爬取的页面或者目录。如：Disallow：\/文件夹目录\/ 或者是 Disallow：\/文件夹名称 （表示禁止蜘蛛爬取网站的其中一个页面）实例：Disallow：\/ 禁止蜘蛛爬取...
"robots.txt"是什么?
如果"\/robots.txt"是一个空文件,则对于所有的搜索引擎robot,该网站都是开放的。 四. robots.txt文件用法举例例1. 禁止所有搜索引擎访问网站的任何部分 下载该robots.txt文件User-agent: * Disallow: \/ 例2. 允许所有的robot访问 (或者也可以建一个空文件 "\/robots.txt" file)??User-agent: *Disallow:例3....
rotob.txt文件制作
（或者也可以建一个空文件 "\/robots.txt" file）例3、禁止某个搜索引擎的访问 User-agent: BadBot Disallow: \/ 例4、允许某个搜索引擎的访问 User-agent: Baiduspider Disallow:User-agent:Disallow: \/ 例5、假设某个网站有三个目录对搜索引擎的访问做了限制，可以这么写：User-agent:Disallow: \/...
网站哪些内容需要通过robots.txt文件禁止搜索引擎抓取
通常网站的登录页、注册页、网站后台地址、网站测试页、联系我们（边框QQ）等。您只要想明白一点就可以，那就是哪些内容让搜索引擎抓取是没有意义的，那你就用robots.txt文件禁止搜索引擎抓取。希望我的回答能帮助到您，也希望您能采纳，谢谢！
