新闻中心

答客户问:网站为什么已经拒绝蜘蛛收录,而搜索引擎还能抓取网站内容

作者 / 无忧主机 时间 2012-09-26 04:06:11

“网站为什么已经拒绝蜘蛛收录,而搜索引擎还能抓取网站内容”这是为什么类?这是今天一位尊敬的无忧主机用户的提问,对于这个问题,确实比较难回答,无忧主机(www.51php.com)售后工程师们相互讨论下下,根据我们自己的维护经验浅浅的说下搜索引擎收录的问题。 要先说明白这个问题,首先我们先了解下搜索引擎爬虫(蜘蛛)的工作原理: 搜索引擎是使用spider(蜘蛛)程序抓起用户网页的内容,在搜索引擎蜘蛛访问网站时会先查看网站是否有robots.txt文件,如果有蜘蛛程序会先去访问robots.txt文件读取文件的内容,这个文件中说明网站那些内容是希望被抓取的或拒绝抓取的。蜘蛛程序查看robots.txt协议后会知道它应该做那些工作,是执行拒绝还是抓取动作。 现在我们回到文章标题的话题来,小编发现搜索引擎有时也会在搜索结果中显示已经拒绝收录的php虚拟主机页面或者显示网页快照,这是什么呢?原因有很多我就举几个最常见的原因: 1、用户设置 robots.txt文件时可能出错或者并不是放在网站的根目录下,这样搜索引擎就不会收到您拒绝收录的正确信息; 2、搜索引擎收录的网页并不是通过直接访问网站所得,可能是通过外链对网站拒绝页面进行收录; 3、可能在robots.txt文件建立之前,网站已经被搜索引擎收录了,搜索引擎没有及时更新导致spider程序不准守robots协议,这个原因只有等搜索引擎下次更新收录才有办法解决 在上述情况发生时我们要防止所有搜索引擎显示您网站的快照,可以将这段代码加入到网页的头部代码<head></head>部分: <meta name="robots" content="noarchive"> 如果用户想要搜索引擎显示快照,但有不希望搜索引擎收录网页,可以使用以下代码进行标记: <meta name="Baiduspider(搜索引擎蜘蛛名)" content="noarchive">   纯Linux环境下高端免备案【香港独立IP地址】 php空间,仅仅只需199元一年起。商务中国域名核心代理直销50元注册国际顶级域名

本文地址:https://www.51php.com/seo/8767.html

1
1
1
1
1
1
1