不设置robots.txt网站后台会被抓取吗

如题所述

robots文件是搜索引擎蜘蛛爬行网站第一个爬行的文件。robots文件规定搜索引擎可以抓取哪些网页不可以抓取和读取哪些文件。
你的网站没有robots文件是会被抓取的,搜索引擎蜘蛛会全部抓取,如果你的网站后台地址在网页上,搜索引擎也会抓取和收录,这样对网站安全性不太好。
温馨提示:内容为网友见解,仅供参考
无其他回答
相似回答