DEDECMS robots文件设置

站长朋友应该是知道robots文件的作用的，在这里小编就简单为不知道的朋友解释一下，大家建站之后为了就是收录，那么肯定会有各种蜘蛛来爬取网站，然而蜘蛛的爬取也会爬取到一些敏感或者隐私的信息，很多站长朋友就希望蜘蛛不要爬取这些目录，所以就有了robots，左右就是屏蔽蜘蛛爬取某些目录。而用织梦DEDECMS建站的朋友们就会发现，dedecms自带的robots.txt文件设置非常的简单，不能完全满足网站的优化的高要求，那要怎么样把robots.txt文件的优化做到最好呢？接下来小编提供一些方法，希望有帮助。（出于安全性考虑，无忧主机小编建议扎安装朋友使用dedecms 的时候配合无忧主机php独立ip空间） 首先先介绍一下基本设置： User-agent: * Disallow: /dede 管理后台目录，需要改名 Disallow: /include 程序的核心文件 Disallow: /member 会员管理目录，有些文件可以开放 Disallow: /plus 插件及辅助功能目录 ，有些文件可以开放，如search.php Disallow: /templets 默认模板存放目录 Disallow: /data 系统缓存或其它可写入数据存放目录 Disallow: /uploads 上传下载文件保存目录,不想搜索引擎引用图片的话，禁止 Disallow: /images 系统默认模板图片存放目录 Disallow: /index.php 网站默认首页，静态化的话，最好禁止 Disallow: /404.html Allow: /plus/search.php 开放禁止目录里的具体文件 接下来一一介绍后台管理目录和栏目页的设置： 1、dede后台目录，为了网站安全考虑，必须要改名。然而改名之后在robots.txt文件里怎么设置呢？直接禁止抓取，还是泄露了后台目录，等于没有改名。那么该如何解决这个问题呢?可以通过下面的设置解决这个问题，如后台目录为dedecms： Disallow: /d*ms 这样我们就能即禁止了搜索引擎的爬取，又不会泄露后台目录名称。 2、大家会注意到，如果网站不做伪静态设置话，栏目分页后会有两个链接指向栏目首页，如*/web/和*/web /list_1_1.html，为了网站的优化，可以先做一下伪静态的设置（无忧主机的会员中心有伪静态设置的工单）把首页和第一页的链接改为*/web/的形式，然后在robots.txt文件里做以下设置: Disallow: /*1.html$ 以上就是DEDECMS robots.txt文件的设置，大家可以根据自己网站的情况具体去设置。 希望可以帮助到各位站长朋友们！ 无忧主机相关文章推荐阅读： DEDECMS后台模块管理空白的解决方法 织梦程序中PLUS文件作用介绍及安全设置 DEDECMS安装WAP之后登录后台报错的解决方法 利用HTTP协议修改DEDECMS首页代码来实现网站重定向

本文地址：https://www.51php.com/dedecms/17829.html