无忧主机推荐WordPress最好的robots.txt文件的写法

关于robots.txt的应用很多，概括的来讲就两个，一是拒绝收录，二开放收录。 用wp开博，无忧主机（www.51php.com）认为当前世界上你找不到第二款比他牛逼的开源个人博客发布系统。无忧主机（www.51php.com）下面就robots.txt文件针对wordpress简单说说。 Robots.txt拒绝收录 当我们的wordpress博客站点正在建设调试中，这个时候，我们肯定不喜好搜索引擎蜘蛛过来“打扰”，收录不该收录的东西，爬去不该爬取的内容。这个时候，我们最简单方便的方法，就是写一个robots.txt文件放到wordpress安装目录下，拒绝所有搜索引擎蜘蛛。写法如下： User-agent: * Disallow: /   Wordpress最好的robots.txt写法： 无忧主机（www.51php.com）在售后中经常于一些用户讨论robots.txt的写法，同时也见过非常多robots.txt写法，综合起来，无忧主机小编认为，下面的写法是最适合wordpress站点的有关robots.txt写法，大家可以参照。 User-agent: * Disallow: /wp-admin Disallow: /wp-content/plugins Disallow: /wp-content/themes Disallow: /wp-includes Disallow: /?s= Sitemap: http://你的域名/sitemap.xml     纯Linux环境下高端免备案［香港独立IP地址］ php空间，仅仅只需199元一年起。商务中国域名核心代理直销50元注册国际顶级域名

本文地址：https://www.51php.com/wordpress/5421.html