帮助中心
40
最新文章
  • 浅谈Drupal中template.php的重要性
  • 浅谈Drupal加强安全问题
  • 使用什么模块能检测Drupal的安全配置
  • Drupal教程之去掉AdSense模块中“JCV”id的方法
  • Drupal 7.0升级到Drupal 8.0优势分析
  • Drupal7上传图片和文件包含中文乱码问题
  • drupal技术文档翻译:客户端不支持服务器端要求的认证协议
  • Drupal技术文档翻译:按照路径来定制站点的logo和名称
  • Drupal技术文档翻译:当区域内没有内容的时候如何进行隐藏
  • Drupal技术文档翻译:如何完美写好.info文件(一)
  • 文章分类
  • 171CMS_711CMS
  • BIWEB商务智能网站系统
  • BO-BLOG开源博客系统相关
  • cmseasy易通企业系统相关
  • Cscms程氏内容管理系统
  • dedecms教程_织梦系统帮助文档_dedecms虚拟主机空间
  • Destoon开源b2b系统相关
  • DirectAdmin(DA)用户面板相关
  • discuz论坛_discuz x3.0教程_discuz x3.2教程_DZ论坛
  • DouPHP轻量级企业网站管理系统
  • drupal开源内容管理系统(CMS)
  • ecmall商城系统教程-ecmall最新版本-ecmall模版教程
  • Ecshop开源网店系统相关
  • ECTouch程序相关教程
  • ESPCMS_易思
  • ftp教程_ftp上传工具_ftp软件_ftp是什么
  • iwebshop开源网店系统相关
  • joomla开源cms相关
  • KingCMS内容管理系统
  • Lifetype开源博客相关
  • Magento开源电子商务系统
  • mambors开源cms相关
  • mediawiki开源百科系统相关
  • Metinfo(米拓)CMS教程-米拓模版安装教程
  • modoer3.2_modoer点评系统_modoer模版
  • MvMmall多用户商城系统
  • mysql数据库相关
  • opensns开源社交系统
  • oscommerce电子商务系统
  • PHPBB开源论坛程序相关
  • phpcms教程_phpcms漏洞修复_phpcms技术中心
  • phpmyfaq开源问答(FAQ)系统相关
  • phpweb程序_phpweb教程_phpweb成品网站
  • PHPWIND开源论坛系统相关
  • phpyun
  • php主机产品
  • Pmwiki开源百科程序
  • SemCms开源程序
  • SEO-网站优化-SEO优化
  • ShopEx网店程序_shopex模板教程_shopex虚拟主机空间
  • ShopNc开源商城系统教程_电子商务系统教程
  • Thinkphp中文WEB应用开发框架相关
  • thinksns全平台综合型社交系统
  • Typecho开源博客系统相关
  • WordPress博客中文教程_wordpress模板教程_wordpress虚拟主机空间
  • XOOPS内容管理系统(CMS)
  • YOUDIANCMS内容管理系统
  • zblog博客程序教程_zblog模版问题解决方法
  • Zen Cart开源商城系统相关
  • [db:分类]
  • 主机环境配置相关
  • 其他资料
  • 域名相关
  • 安全资讯
  • 宏博cms企业系统相关
  • 帝国CMS教程_帝国CMS常见问题解决方法
  • 建站之星教程_建站之星程序常见问题解决方案
  • 无忧主机原创视频教程
  • 无忧主机用户部署安装网站
  • 无忧主机超级用户管理系统相关
  • 易企cms企业系统相关
  • 最土团购程序_最土团购程序模板教程_最土团购虚拟主机空间
  • 海盗云商系统
  • 网站SEO教程_SEO是什么?_SEO博客-无忧主机
  • 网站迁移和数据备份相关
  • 行业新闻
  • 资源目录
  • 骑士cms_骑士人才系统教程
  • 国外技术文档翻译:drupal站点中如何自定义添加robots.txt引导蜘蛛爬行

    网站推广,我们都要写一个robots.txt文件,这个是啥文件类?这是搜索引擎访问网站第一个要查看的文件,蜘蛛会根据robots.txt内容那些是可以访问的,简单说,就是你希望蜘蛛去访问你网站那些内容,那些不被访问,如你的网站如果建设过程中,不希望搜索引擎开始收录,等网站正式运营后,才运行蜘蛛爬行,那么我们就可以在网站根目录下新建一个robots.txt文件,告诉搜索引擎暂时别来,我现在不需要您。记得,robots.txt一定要小写哦,不能大写。文本将在drupal站点的中如何添加一个自定义robots.txt文件来引导蜘蛛爬行网站内容。下面我们来就看一下面的详细说明。下面我们就一起来学习下吧。

    如何创建一个robots.txt文件

    简单的回答:在您php虚拟主机上相应站点的根目录。

    详细的回答:比方说,蜘蛛要爬“http://www.51php.com/shop/index.html”,它是会把“/shop/index.html”

    移除掉,并把“/robots.txt”置换上去,也就是最终访问“http://ww.51php.com/robots.txt”。

    所以呢作为网站所有者的我们需要将robots.txt放在服务器正确的地方。通常情况下是您放主索引页面的地方,当然这一切都要取决于您WEB服务器配置。

    NOTE:记得要用小写字母“robots.txt”,而不要用“Robots.TXT”去命名您的robots.txt文件。

    在robots.txt文件中应该放些什么指令

    Robots.txt是一个文本文件,通常情况下包含下列记录。

    User-agent: *

    Disallow: /cgi-bin/

    Disallow: /tmp/

    Disallow: /~joe/

    在上面的指令中,有三个目录是禁止蜘蛛访问的。

    NOTE:一个目录占一行。不要使用在一单行使用“Disallow:/cgi-bin/ /tmp/”这样的格式,并且不要插入空白行!

    也要注意的是,通配符和正则表达式在User-agent或者是Disallow里都是不被支持的。*符号对User-agent字段的的意义就是任何蜘蛛的意思。尤其的是不能用“User-agent:*bot*”,和“Disallow: *.gif”。

    当然这一切都要以您的服务器的配置环境来决定,下面就跟随无忧主机(www.51php.com)一起来看一些例子。

    User-agent: *

    Disallow: /

    这两句是拒绝所有的蜘蛛访问我们的站点。当然把“Disallow:/”的这一“/”去掉话就是允许访问服务器上的所有文件。把“/”去掉的话也就等于不创建robots.txt文件了。

    User-agent: *

    Disallow: /cgi-bin/

    Disallow: /tmp/

    Disallow: /junk/

    这里是禁止访问php虚拟主机上的部分文件夹。

    User-agent: BadBot

    Disallow: /

    禁止单一蜘蛛。

    User-agent: baidu

    Disallow:

    User-agent: *

    Disallow: /

    只允许baidu蜘蛛。

    User-agent: *

    Disallow: /~joe/stuff/

    只能访问这一个文件夹。

    OK,看完上面这么多例子,是不是对robots.txt文件了解更多了呢?!当然,不要试图用robots.txt来隐藏您的文件信息,因为这个文件是在公共文件区!别人要用恶意的蜘蛛来扫描您站点的安全漏洞,这个robots.txt是可以被被忽视的。

    原文地址:http://www.robotstxt.org/robotstxt.html

     

    纯Linux环境下高端免备案【香港独立IP地址】 php空间,仅仅只需199元一年起。商务中国域名核心代理直销50元注册国际顶级域名

    本文地址:https://www.51php.com/drupal/8025.html