新闻中心

怎么利用robots文件对wordpress进行蜘蛛爬取优化

作者 / 时间 2014-07-29 08:50:16

无忧主机小编近期看了相关的SEO技术文章,从中呢了解了robots的好处,这个文件可以开发和拒绝蜘蛛的爬去,很多站长朋友对于这个文件从而对SEO的话,是非常有效果的,这就告诉蜘蛛,我和您是朋友,所以针对这个问题,无忧主机小编就来谈谈怎么对wordpress进行优化。 首先我们要知道什么是robots.txt,他是存放在网站的根目录的ASCII编码的文本文件,它通常叫做网络收索引擎的漫游器,又称为网络蜘蛛,它可以与接受和蜘蛛是朋友,也可不要和蜘蛛做朋友,在这点上呢,这个文件目前并不是一种标准,只是一种协议,所以又很多的搜索引擎对这个文件的指令参数都有不同的看待。 那么我们知道这个文件的概念之后,就需要知道这个文件需要注意的几个地方: 1、指令时要区分大小写的,忽略未知的指令。 2、每一行代表一个指令,空白和隔行都是会被忽略。 3、“#”号后的字符参数会被忽略。 4、独立User-agent的规则,会排除在通配“*”User agent的规则之外。 5、可以写入sitemap文件的链接,方便搜索引擎蜘蛛爬行整站内容。 6、尽量少用Allow指令,因为不同的搜索引擎对不同位置的Allow指令会有不同看待。 对于这些我们了解之后,那么我们就去做我们的wordpress的优化设置去了,让它和蜘蛛更友好的去接触。接下来就来看看无忧主机小编怎么去设置的吧。 User-agent:* Disallow: /wp-admin/ Disallow: /wp-content/ Disallow: /wp-includes/ Disallow: /*/trackback Disallow: /feed Disallow: /*/feed Disallow: /comments/feed Disallow: /?s=* Disallow: /*/?s=* Disallow: /?r=* Disallow: /*.jpg$ Disallow: /*.jpeg$ Disallow: /*.gif$ Disallow: /*.png$ Disallow: /*.bmp$ Disallow: /?p=* Disallow: /*/comment-page-* Disallow: /*?replytocom* Disallow: /a/date/ Disallow: /a/author/ Disallow: /a/category/ Disallow: /?p=*&preview=true Disallow: /?page_id=*&preview=true Disallow: /wp-login.php Sitemap:http://***.com/sitemap.txt 把以上的指令复制到robots.txt中,上传到根目录即可,可能有很多的站长朋友会有疑问,都是些什么呢,无忧主机小编有一个简短的词语的告诉您们,这些规则就是优化蜘蛛爬去的优化结果,可能很多站长朋友都被流氓蜘蛛爬去到了,那么无忧主机小编这里可以有效的屏蔽,这样对于您的网站的收录是一件好事。所以站长朋友可以根据自己的需求去补充这个指令,Disallow没有强制的要求,无忧主机小编也建议站点开通谷歌管理员工具,检查站点的robots.txt是否规范。这样有效的优化,会给您带来不错的流量哟。 谢谢站长朋友们对无忧主机的支持与厚爱。 无忧主机相关文章推荐阅读: WORDPRESS网站如何自动创建管理账号 如何在WORDPRESS网站后台列表中记录用户注册时IP地址方法 WORDPRESS在网站后台文章列表如何显示文章附件具体详情和数量 WORDPRESS如何在管理员后台显示用户列表添加上次登陆时间功能

本文地址:https://www.51php.com/wordpress/15121.html

1
1
1
1
1
1
1