[发明专利]一种基于Kafka和Quartz的分布式爬虫架构及其实现方法

摘要

本发明公开了一种基于Kafka和Quartz的分布式爬虫架构及其实现方法，属于计算机数据挖掘技术领域，本发明要解决的技术问题为如何能够通过单机爬虫框架结合分布式工具完成分布式爬虫的需求，实现爬取队列消息的多节点分发以及定时爬取。技术方案为：（1）、一种基于Kafka和Quartz的分布式爬虫架构，该爬虫架构包括基础爬虫组件、URL存储队列、基于Kafka的URL消息分发机制、基于Quartz的爬虫作业调度机制和前端控制台。（2）、一种基于Kafka和Quartz的分布式爬虫架构的实现方法，包括如下步骤：（1）、通过前端控制台的页面设定爬取入口、爬取规则、爬取结果存储方式以及调度规则的参数，同时选择要部署的集群节点进行部署。

主权项

1.一种基于Kafka和Quartz的分布式爬虫系统，其特征在于：该爬虫架构包括基础爬虫模块、URL存储队列模块、基于Kafka的URL消息分发模块、基于Quartz的爬虫作业调度模块和前端控制台；所述基础爬虫模块是基于开源的单机爬虫组件，包括页面解析生成URL、URL过滤器和页面爬取；页面解析生成URL负责从当前页面中提取URL链接；URL过滤器负责根据爬取规则将产生URL链接进行过滤，得到符合规则的URL链接；页面爬取负责符合爬取规则的URL链接进行页面抓取，定制页面抓取内容；所述URL存储队列模块，采用内存数据库，内存数据库用来存储待爬取以及已经爬取完成的URL消息队列，实现分布式爬虫的增量爬取；内存数据库自动完成数据的去重存储，完成待爬取队列的去重存储以及已爬取队列的存储，实现分布式爬虫的增量爬取和中断爬取；所述基于Kafka的消息分发模块，采用生产者‑消费者异步请求处理机制，一个生产者对应N个消费者，分别部署于不同的节点；生产者负责产生待爬取的URL消息队列，而消费者负责从待爬取队列中获取URL消息队列进行爬取，并将已完成的爬取存入已爬取队列；所述基于Quartz的作业调度模块，负责完成对分布式爬虫架构的爬取作业的调度，爬取作业分为生产者作业和消费者作业两种类型，使用不同的作业调度规则进行调度；所述前端控制台，负责完成对分布式爬虫的管理以及定制；前端控制台负责完成爬取入口、爬取规则、爬取结果存储方式和调度规则的参数设定以及完成对爬取作业的启停管理和分布式爬虫的集群部署管理。