网站与网站之间互相连接,所以才有了网络,才称为了互联网。是以搜索引擎基于这个原理发明了蜘蛛(spider).或者也被称为机器人(bot).这是一个很形象的比喻,网站和网站的互联,就好比一只蜘蛛在结网,蜘蛛爬行的网站越多,织的网就越大。蜘蛛的作用就是依据网站与网站的链接访问和爬行互联网上的网站。他的工作流程:搜索引擎的蜘蛛爬行到一个IP或者网址,当他爬行到这个IP或者网址的时候首先要访问一个名为robots.txt的文件,这是一个网站站长给蜘蛛的一个指导性质的文件,他告诉了搜索引擎,是否允许被收录,不允许哪些文件被收录。然后蜘蛛根据robots.txt的指示进行有序的爬行。这个时候蜘蛛会对域名或者IP网站的服务器发出一个访问这个网站网页内容的请求,请求访问允许被收录的页面。网站所在服务器根据蜘蛛的请求,以HTML代码的形式反馈给蜘蛛请求页面。蜘蛛得到代码后,如同蚂蚁搬家,将代码存入搜索引擎自己的服务器中的原始页数据库。

搜索引擎的蜘蛛名称:

谷歌:googlebot

百度:baiduspider

MSN:MSNbot      

Yahoo:Slurp  (雅虎的和其他的搜索引擎不一样,带着自己的名字,雅虎的是用一个拟声词命名。这个词是形容机器人在吃东西的时候发出的声音,比较形象。估计科幻主题类型的素材没少看)

 

纯Linux环境下高端免备案[香港独立IP地址] php空间,仅仅只需199元一年起。商务中国域名核心代理直销50元注册国际顶级域名。

本文地址:http://www.51php.com/seo/3959.html

喜欢本文或觉得本文对您有帮助,请分享给您的朋友 ^_^

阅读本文的人还阅读: