百度蜘蛛爬虫是实时的还是有时间段的?
实时是不可能的,试想一下若真是实时爬取的话,那被爬网站的性能资源和宽带流量岂不是被拖垮了?虽然主动提交新产出内容的链接,会吸引爬虫立即爬取,但也是要看实际情况,不一定每次都是一提交就实时爬取。
另外说有时间段这说法也不完全准确,因为百度蜘蛛爬虫不是固定一个时间段去爬取网站的,而是没有规律的,当然如果网站的更新时间非常有规律,那么爬虫也自然会配合网站更新的规律进行爬取。
至于百度蜘蛛爬虫会多久爬取一次,这取决于网站的更新频率,同时和外部链接也有很大关系,当百度蜘蛛爬虫发现一个新的外部链接时,很可能就会立即爬过来。