如何让网站robots.txt不泄露后台等安全秘密

如题所述

一、使用通配符(*):
User-agent: *
Disallow: /a*/
这样的写法,禁止所有的搜索引擎抓取根目录下a开头的目录。当您的后台是admok165的话,还有谁会看到呢?
二、只写目录前几个字母,不写全:
User-agent: *
Disallow: /ad
这种的写法,是禁止所有的搜索引擎抓取根目录下ad开头的目录。
最后说明一下,以上这两种方法,需要网站目录没有相同字母开头的,例如ad目录,如果有两个一样的,那需在robots.txt文件里再加上一个字母区别开来。
温馨提示:内容为网友见解,仅供参考
无其他回答
相似回答