能否通过robots.txt的设置来实现重要网站信息的隐藏

如题所述

　　在使用/robts.txt时有两个重要的注意事项：

　　1.网络爬虫可以忽略你的/robts.txt。尤其是扫描网站安全漏洞的流氓软件和垃圾邮件发送者用来收集电子邮箱地址将不会在意/robts.txt。

　　2./robts.txt是一个公开的文件。任何人都能看到你不希望网络爬虫使用你服务器的哪些区域。

　　因此不要尝试使用 /robots.txt 来隐藏信息。

温馨提示：内容为网友见解，仅供参考

当前网址：https://11.t2y.org/zz/8mp4p72sv4q7qf2ss2.html