网站robots.txt如何设置吗？

重点说明：1、网站没有后台，不知道是什么程序的后台。2、之前接触都是设置好的了，而且设置应该dede程序，设置不一样吧，表示不懂。3、现在设置的是这张图片，哪位大神指点一下。

举报该文章

你可以通过FTP找到robots. txt文件，下载到本地修改后再上传。
主要是屏蔽不让搜索引擎抓取的文件夹目录，你可以通过FTP查看所有文件夹对照网站栏目来设置，如果还不知道如何操作可以，参考米拓建站官网的robots.txt文件。

温馨提示：内容为网友见解，仅供参考

第1个回答 2020-03-25

在系统中找到robots.txt文件，如果没有就自己建一个
，文件中有User-Agent:*，其中*代表对搜索引擎都有效，如果想屏蔽百度蜘蛛的话可以改为baiduspiderDisallow:
/abc.com/这个设置的话abc.com里面所有内容将不会被收录

相似回答

大家正在搜