标签：robotsmate

robots是什么？robotsmate和robots有什么区别

robots是什么？robotsmate和robots有什么区别。robots是网站跟蜘蛛间的协议，当访问站点时，它首先检查机器人是否存在于站点的根目录中。 如果找到，蜘蛛就会按照该文件中的内容来确定访问的范围,如果该文件不存在,那么搜索机器人就沿着链接抓取。