香港独立IP空间
香港php空间
美国php空间
域名注册

站长朋友应该是知道robots文件的作用的,在这里小编就简单为不知道的朋友解释一下,大家建站之后为了就是收录,那么肯定会有各种蜘蛛来爬取网站,然而蜘蛛的爬取也会爬取到一些敏感或者隐私的信息,很多站长朋友就希望蜘蛛不要爬取这些目录,所以就有了robots,左右就是屏蔽蜘蛛爬取某些目录。而用织梦DEDECMS建站的朋友们就会发现,dedecms自带的robots.txt文件设置非常的简单,不能完全满足网站的优化的高要求,那要怎么样把robots.txt文件的优化做到最好呢?接下来小编提供一些方法,希望有帮助。(出于安全性考虑,无忧主机小编建议扎安装朋友使用dedecms 的时候配合无忧主机php独立ip空间
首先先介绍一下基本设置:
User-agent: *
Disallow: /dede 管理后台目录,需要改名
Disallow: /include 程序的核心文件
Disallow: /member 会员管理目录,有些文件可以开放
Disallow: /plus 插件及辅助功能目录 ,有些文件可以开放,如search.php
Disallow: /templets 默认模板存放目录
Disallow: /data 系统缓存或其它可写入数据存放目录
Disallow: /uploads 上传下载文件保存目录,不想搜索引擎引用图片的话,禁止
Disallow: /images 系统默认模板图片存放目录
Disallow: /index.php 网站默认首页,静态化的话,最好禁止
Disallow: /404.html
Allow: /plus/search.php 开放禁止目录里的具体文件
接下来一一介绍后台管理目录和栏目页的设置:
1、dede后台目录,为了网站安全考虑,必须要改名。然而改名之后在robots.txt文件里怎么设置呢?直接禁止抓取,还是泄露了后台目录,等于没有改名。那么该如何解决这个问题呢?可以通过下面的设置解决这个问题,如后台目录为dedecms:
Disallow: /d*ms
这样我们就能即禁止了搜索引擎的爬取,又不会泄露后台目录名称。
2、大家会注意到,如果网站不做伪静态设置话,栏目分页后会有两个链接指向栏目首页,如*/web/和*/web /list_1_1.html,为了网站的优化,可以先做一下伪静态的设置(无忧主机的会员中心有伪静态设置的工单)把首页和第一页的链接改为*/web/的形式,然后在robots.txt文件里做以下设置:
Disallow: /*1.html$
以上就是DEDECMS robots.txt文件的设置,大家可以根据自己网站的情况具体去设置。
希望可以帮助到各位站长朋友们!

无忧主机相关文章推荐阅读:

DEDECMS后台模块管理空白的解决方法

织梦程序中PLUS文件作用介绍及安全设置

DEDECMS安装WAP之后登录后台报错的解决方法

利用HTTP协议修改DEDECMS首页代码来实现网站重定向

本文地址:http://www.51php.com/dedecms/17829.html

喜欢本文或觉得本文对您有帮助,请分享给您的朋友 ^_^

阅读本文的人还阅读:


搜索技术文档