怎么利用robots文件对wordpress进行蜘蛛爬取优化

无忧主机小编近期看了相关的SEO技术文章，从中呢了解了robots的好处，这个文件可以开发和拒绝蜘蛛的爬去，很多站长朋友对于这个文件从而对SEO的话，是非常有效果的，这就告诉蜘蛛，我和您是朋友，所以针对这个问题，无忧主机小编就来谈谈怎么对wordpress进行优化。 首先我们要知道什么是robots.txt，他是存放在网站的根目录的ASCII编码的文本文件，它通常叫做网络收索引擎的漫游器，又称为网络蜘蛛，它可以与接受和蜘蛛是朋友，也可不要和蜘蛛做朋友，在这点上呢，这个文件目前并不是一种标准，只是一种协议，所以又很多的搜索引擎对这个文件的指令参数都有不同的看待。 那么我们知道这个文件的概念之后，就需要知道这个文件需要注意的几个地方： 1、指令时要区分大小写的，忽略未知的指令。 2、每一行代表一个指令，空白和隔行都是会被忽略。 3、“#”号后的字符参数会被忽略。 4、独立User-agent的规则，会排除在通配“*”User agent的规则之外。 5、可以写入sitemap文件的链接，方便搜索引擎蜘蛛爬行整站内容。 6、尽量少用Allow指令，因为不同的搜索引擎对不同位置的Allow指令会有不同看待。 对于这些我们了解之后，那么我们就去做我们的wordpress的优化设置去了，让它和蜘蛛更友好的去接触。接下来就来看看无忧主机小编怎么去设置的吧。 User-agent：* Disallow： /wp-admin/ Disallow： /wp-content/ Disallow： /wp-includes/ Disallow： /*/trackback Disallow： /feed Disallow： /*/feed Disallow： /comments/feed Disallow： /?s=* Disallow： /*/?s=* Disallow： /?r=* Disallow： /*.jpg$ Disallow： /*.jpeg$ Disallow： /*.gif$ Disallow： /*.png$ Disallow： /*.bmp$ Disallow： /?p=* Disallow： /*/comment-page-* Disallow： /*?replytocom* Disallow： /a/date/ Disallow： /a/author/ Disallow： /a/category/ Disallow： /?p=*&preview=true Disallow： /?page_id=*&preview=true Disallow： /wp-login.php Sitemap:http://***.com/sitemap.txt 把以上的指令复制到robots.txt中，上传到根目录即可，可能有很多的站长朋友会有疑问，都是些什么呢，无忧主机小编有一个简短的词语的告诉您们，这些规则就是优化蜘蛛爬去的优化结果，可能很多站长朋友都被流氓蜘蛛爬去到了，那么无忧主机小编这里可以有效的屏蔽，这样对于您的网站的收录是一件好事。所以站长朋友可以根据自己的需求去补充这个指令，Disallow没有强制的要求，无忧主机小编也建议站点开通谷歌管理员工具，检查站点的robots.txt是否规范。这样有效的优化，会给您带来不错的流量哟。 谢谢站长朋友们对无忧主机的支持与厚爱。 无忧主机相关文章推荐阅读： WORDPRESS网站如何自动创建管理账号 如何在WORDPRESS网站后台列表中记录用户注册时IP地址方法 WORDPRESS在网站后台文章列表如何显示文章附件具体详情和数量 WORDPRESS如何在管理员后台显示用户列表添加上次登陆时间功能

本文地址：https://www.51php.com/wordpress/15121.html