蜘蛛

上篇《搜索引擎工作的基本原理-蜘蛛的爬行》中我们详细介绍了蜘蛛是如何爬行工作的，现在小编想跟大家聊一下蜘蛛的抓取。理论上，蜘蛛的爬行可以遍布整个互联网的全部页面，但是实际上，蜘蛛做不到这些，也不需要去做到，因为整

此帝国cms插件可以记录搜索引擎蜘蛛爬取页面及返回状态，可以设置指定蜘蛛，避免造成数据过多。