[发明专利]一种分布式爬虫系统及周期性增量抓取方法

摘要

本发明公开一种分布式爬虫系统，该系统被配置为基于ZooKeeper的分布式服务、系统组件和数据库三大部分，其中，系统组件包括系统监控组件Monitor、协调组件Coordinator、日志收集组件Logger、基础爬虫组件Spider，数据库包括Redis内存数据库，redis是key‑value的存储形式，Redis内存数据库中存放有分布式URL任务队列和分布式BloomFilter。本发明还公开一种基于该系统的周期性增量抓取方法，包括：协调组件Coordinator周期性导入任务到分布式URL任务队列，并唤醒正在休眠的Spider组件；Spider组件根据当前分布式URL任务队列的执行情况进行休眠或周期性增量抓取。该系统及方法解决了如何将单机爬虫有效的结合在一起，实现集群环境下高可用、高稳定和高吞吐率的分布式爬虫，并实现周期性增量抓取。

主权项

一种分布式爬虫系统，其特征在于，该系统被配置为基于ZooKeeper的分布式服务、系统组件和数据库三大部分，其中，系统组件包括系统监控组件Monitor、协调组件Coordinator、日志收集组件Logger、基础爬虫组件Spider，数据库包括Redis内存数据库，Redis内存数据库中存放有分布式URL任务队列和分布式BloomFilter；其中，基于ZooKeeper的分布式服务为各系统组件提供分布式协调服务，所述系统监控组件Monitor负责系统的动态配置和系统的状态监控，所述协调组件Coordinator负责将种子URL导入到基于Redis的分布式任务队列、周期性汇总各节点状态到ZooKeeper、为日志收集组件Logger动态分配日志源和集群节点的检测与管理中的一种或多种，所述日志收集组件Logger负责从集群中各基础爬虫组件Spider收集日志数据，所述基础爬虫组件Spider负责处理网页的爬取任务，所述基于Redis的分布式URL任务队列负责存储所有待爬取的任务URL，所述基于Redis的分布式BloomFilter负责集群中所有基础爬虫组件Spider的URL去重请求。