网站与网站之间互相连接,所以才有了网络,才称为了互联网。是以搜索引擎基于这个原理发明了蜘蛛(spider).或者也被称为机器人(bot).这是一个很形象的比喻,网站和网站的互联,就好比一只蜘蛛在结网,蜘蛛爬行的网站越多,织的网就越大。蜘蛛的作用就是依据网站与网站的链接访问和爬行互联网上的网站。他的工作流程:搜索引擎的蜘蛛爬行到一个IP或者网址,当他爬行到这个IP或者网址的时候首先要访问一个名为robots.txt的文件,这是一个网站站长给蜘蛛的一个指导性质的文件,他告诉了搜索引擎,是否允许被收录,不允许哪些文件被收录。然后蜘蛛根据robots.txt的指示进行有序的爬行。这个时候蜘蛛会对域名或者IP网站的服务器发出一个访问这个网站网页内容的请求,请求访问允许被收录的页面。网站所在服务器根据蜘蛛的请求,以HTML代码的形式反馈给蜘蛛请求页面。蜘蛛得到代码后,如同蚂蚁搬家,将代码存入搜索引擎自己的服务器中的原始页数据库。