新闻中心

SEO基础教程:什么是蜘蛛

作者 / 无忧主机 时间 2011-09-24 13:26:34

网站与网站之间互相连接,所以才有了网络,才称为了互联网。是以搜索引擎基于这个原理发明了蜘蛛(spider).或者也被称为机器人(bot).这是一个很形象的比喻,网站和网站的互联,就好比一只蜘蛛在结网,蜘蛛爬行的网站越多,织的网就越大。蜘蛛的作用就是依据网站与网站的链接访问和爬行互联网上的网站。他的工作流程:搜索引擎的蜘蛛爬行到一个IP或者网址,当他爬行到这个IP或者网址的时候首先要访问一个名为robots.txt的文件,这是一个网站站长给蜘蛛的一个指导性质的文件,他告诉了搜索引擎,是否允许被收录,不允许哪些文件被收录。然后蜘蛛根据robots.txt的指示进行有序的爬行。这个时候蜘蛛会对域名或者IP网站的服务器发出一个访问这个网站网页内容的请求,请求访问允许被收录的页面。网站所在服务器根据蜘蛛的请求,以HTML代码的形式反馈给蜘蛛请求页面。蜘蛛得到代码后,如同蚂蚁搬家,将代码存入搜索引擎自己的服务器中的原始页数据库。 搜索引擎的蜘蛛名称: 谷歌:googlebot 百度:baiduspider MSN:MSNbot       Yahoo:Slurp  (雅虎的和其他的搜索引擎不一样,带着自己的名字,雅虎的是用一个拟声词命名。这个词是形容机器人在吃东西的时候发出的声音,比较形象。估计科幻主题类型的素材没少看)   纯Linux环境下高端免备案[香港独立IP地址] php空间,仅仅只需199元一年起。商务中国域名核心代理直销50元注册国际顶级域名。

本文地址:https://www.51php.com/seo/3959.html

1
1
1
1
1
1
1