站长朋友应该是知道robots文件的作用的,在这里小编就简单为不知道的朋友解释一下,大家建站之后为了就是收录,那么肯定会有各种蜘蛛来爬取网站,然而蜘蛛的爬取也会爬取到一些敏感或者隐私的信息,很多站长朋友就希望蜘蛛不要爬取这些目录,所以就有了robots,左右就是屏蔽蜘蛛爬取某些目录。而用织梦DEDECMS建站的朋友们就会发现,dedecms自带的robots.txt文件设置非常的简单,不能完全满足网站的优化的高要求,那要怎么样把robots.txt文件的优化做到最好呢?接下来小编提供一些方法,希望有帮助。(出于安全性考虑,无忧主机小编建议扎安装朋友使用dedecms 的时候配合无忧主机php独立ip空间)