香港独立IP空间
香港php空间
美国php空间
域名注册

最近有一个客户问无忧主机小编我关于robots.txt怎么写,说实话,小编自己也好久没写过这个规则了,其实百度下还是有很多教程的,但是今天无忧主机小编给大家分享一个比较另类的方法,就是通过在模板里面加入meta标签来控制蜘蛛爬行的页面。

具体代码如下:

<META NAME=”ROBOTS” CONTENT=”NOINDEX,NOFOLLOW”>

然后将这段代码添加到不想被抓取页面的header标签范围内。

不过相对来说,这个控制方法更精准一点,只是没有robots方便,所以如果是需要大批量的禁用蜘蛛抓取页面的话,建议是学会robots.txt的写法

Robots.txt教程:

http://wenku.baidu.com/link?url=b-aQ2digYMmSx9cHFtSZ-vY_4KojyQf2T99oiC7MUrHIjKx7O7eoeThHL0jP6-D2rYNXcco9fsc4VGPqTizw_S3LEXJiyyUgv0BUTg00ODW

本文地址:http://www.51php.com/others/14902.html

喜欢本文或觉得本文对您有帮助,请分享给您的朋友 ^_^

阅读本文的人还阅读:


搜索技术文档