新闻中心

如何禁止蜘蛛爬行方法,META标签控制

作者 / 无忧主机 时间 2014-06-30 18:10:16

最近有一个客户问无忧主机小编我关于robots.txt怎么写,说实话,小编自己也好久没写过这个规则了,其实百度下还是有很多教程的,但是今天无忧主机小编给大家分享一个比较另类的方法,就是通过在模板里面加入meta标签来控制蜘蛛爬行的页面。 具体代码如下: <META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW"> 然后将这段代码添加到不想被抓取页面的header标签范围内。 不过相对来说,这个控制方法更精准一点,只是没有robots方便,所以如果是需要大批量的禁用蜘蛛抓取页面的话,建议是学会robots.txt的写法 Robots.txt教程: http://wenku.baidu.com/link?url=b-aQ2digYMmSx9cHFtSZ-vY_4KojyQf2T99oiC7MUrHIjKx7O7eoeThHL0jP6-D2rYNXcco9fsc4VGPqTizw_S3LEXJiyyUgv0BUTg00ODW

本文地址:https://www.51php.com/others/14902.html

1
1
1
1
1
1
1

客户服务热线

0791-8623-3537

在线客服