主要我的网站是动态的，会不会把我去他的也屏蔽？
本回答被网友采纳网站不想让搜索引擎抓取怎么做?
1）禁止所有搜索引擎访问网站的任何部分（也就是网站彻底的拒绝所有搜索引擎收录）User-agent:Disallow: \/ 2）允许所有的robot访问（也就是网站允许所有搜索引擎收录）User-agent:Disallow:3）禁止某个搜索引擎的访问（比如禁止百度收录，按如下的方式写）User-agent: baiduspider Disallow: \/ 4）允许某个...
怎样才能让百度搜索不到指定网站
在网站的根目录下上传robots文件；禁止百度抓取网站所有页面。robots文件的写法：新建一个TXT文档，命名为robots，双击打开，输入以下内容保存：User-agent: Baiduspider Disallow: \/ 扩展：Baiduspider是指百度蜘蛛，不让百度抓取，如果是不希望所有的搜索引擎（比如还有360，搜狗，谷歌等）抓取，可把Baiduspider...
如何禁止所有搜索引擎蜘蛛的爬行收录
可使用robots协议：建立robots.txt 文件，上传至网站根目录：屏蔽所有搜索引擎爬取网站的语法：User-agent:Disallow: \/ 允许所有搜索引擎爬取网站所有内容 User-agent:Disallow:只禁止百度抓取你网站的内容 User-agent: Baiduspider Disallow: \/ 只允许百度抓取你网站的内容 User-agent: Baiduspider Disallow:...
利用百度查看网站Robots协议的方法
方法一：1. 通过输入网址“https:\/\/www.baidu.com\/”，进入百度搜索引擎页面。2. 接着，在搜索框中输入任意内容搜索，当出现“由于该网站的robots.txt文件存在限制指令（限制搜索引擎抓取），系统无法提供该页面的内容描述 - 了解详情”这段文字时，点击其中的“了解详情”。3. 进入了解详情页面后，找...
机器人的应用案例
例1. 禁止所有搜索引擎访问网站的任何部分User-agent: *Disallow: \/例2. 允许所有的搜索引擎访问User-agent: *Allow: \/或者可以建一个空文件 “robots.txt“里面什么都不要写例3. 仅禁止百度抓取网站所有文件User-agent: BaiduspiderDisallow: \/例4. 仅允许百度访问网站User-agent: BaiduspiderAllow: ...
如何书写robots.txt
我们的网站最初被写成robots.txt如下:用户代理:不允许:\/wp-admin\/ 不允许:\/wp-includes\/ User-agent:*表示允许所有引擎爬网。而Disallow:\/wp-admin\/和Disallow:\/wp-includes\/禁止百度抓取我们的隐私，包括用户密码、数据库等。这样的写法，既保护了我们的隐私，又最大化了百度蜘蛛的抓取。如果想禁止...
到底什么代码能让自己的网站在不关站下彻底在百度消失
通过robots.txt协议来禁止百度抓取就好了。搜索引擎都会遵循robots.txt协议的；如果在里面禁止了某一搜索引擎；那么该搜索引擎是不会去抓取内容的，也就不会在搜索结果中出现了。
怎么让同一个空间两个域名另外一个不在百度上?
用robots文件，禁止百度抓取 新建一个txt文件，命名为robots.txt ，里面内容写：User-agent:Disallow: \/ 保存，然后上传文件到网站根目录。User-agent: * ，星号代表适用与所有的搜索引擎，如果只希望百度不收录的话，换成百度的引擎 Disallow: \/ 代表，这个网站不允许抓取。
robots.txt的写法
我们的网站起初的robots.txt写法如下：User-agent:Disallow: \/wp-admin\/ Disallow: \/wp-includes\/ User-agent: * 的意思是，允许所以引擎抓取。而Disallow: \/wp-admin\/和Disallow: \/wp-includes\/，则是禁止百度抓取我们的隐私，包括用户密码、数据库等。这样的写法既保护了我们的隐私，也让百度蜘蛛的...
帮忙看一下这个robots文件有没有禁止百度抓取吧
没有禁止百度来抓取。只是限制了所有搜索引擎抓取某些路径和文件而已。
