[发明专利]一种基于URL规则匹配的网页采集任务自动化分拣方法

说明书

本发明公开一种基于URL规则匹配的网页采集任务自动化分拣方法，涉及大数据技术领域，其包括：1)匹配规则配置：在采集任务中制定网页采集任务url模式匹配正则规则，根据任务所属的阶段配置待下载、解析和内容提取正则规则；2)任务调度编排：拉取待执行任务主题，根据调度分发队列进行拆包并放置于待处理任务队列，规则匹配节点依次从任务队列中获取任务包，根据任务包的url地址模式与规则匹配节点匹配后进行转发，下载、解析和抽取规则作为任务调度分拣器，与kafka主题实现一一对应，完成匹配后的任务调用生产者接口写入主题域中；3)基于任务的调度和处理解析构建分层主题模型并配置分拣策略。本方法可以减少任务调度时间，增强任务处理的吞吐量。

技术领域

本发明涉及大数据技术领域，具体的说是一种基于URL规则匹配的网页采集任务自动化分拣方法。

背景技术

随着互联网及大数据技术迅猛发展，越来越多的经济活动开始拓展线上渠道，线上经济已成为经济发展的重要组成部分。尤其以零售、娱乐、金融和生活服务为代表性的产业在大数据技术的带动下，竞相不断迸发出创造性的活力，催生的产品彻底改变了社会生活的方方面面。然而，随着应用规模的急剧增长，也加大了线上经济活动的数据采集分析和统计的难度。

基于此，针对现代大数据技术基础上的分布式web应用的在线数据采集任务，设计研发一种基于URL规则匹配的网页采集任务自动化分拣方法。

发明内容

本发明针对目前技术发展的需求和不足之处，提供一种基于URL规则匹配的网页采集任务自动化分拣方法，通过合理配置URL规则，定义分配流式数据主题，构建级联层化的任务分拣模型，减少任务调度的时间，增强任务处理的吞吐量，进而提高采集任务的执行效率。

本发明的一种基于URL规则匹配的网页采集任务自动化分拣方法，解决上述技术问题采用的技术方案如下：

一种基于URL规则匹配的网页采集任务自动化分拣方法，该方法包括1)匹配规则配置，2)任务调度编排，3)分层主题模型构建三个阶段；

1)匹配规则配置阶段：

在采集任务中制定网页采集任务url模式匹配正则规则，根据任务所属的阶段配置待下载正则规则、解析正则规则和内容提取正则规则；

2)任务调度编排阶段：

待执行任务主题消费者从消费者主题中拉取待执行任务主题，根据调度分发队列进行任务的拆包并放置于待调度处理的任务队列中，规则匹配节点依次从任务队列中获取任务包，根据任务包的url地址模式与规则匹配节点匹配后进行转发，下载、解析和抽取规则作为任务调度分拣器，与kafka主题实现一对一生产连接，完成匹配后的任务调用生产者接口写入主题域中；

3)分层主题模型构建阶段：

根据匹配的url地址设定下载主题、解析主题、内容提取主题三个层级，并基于任务的调度和处理解析构建分层主题模型，再基于分层主题模型配置下载、解析、内容提取三方面的自动化分拣策略。

可选的，执行上述三个阶段过程中，还可以设定采集任务周期配置时间，启动后的采集任务发送到redis中相应网站任务队列中，任务调度节点从任务队列中拉取采集任务进行切分解析后，将任务写入kafka下载主题中，采集节点下载器从kafka中获取任务下载链接根据任务网站入口url进行链接下载，下载成功后的任务。

可选的，在匹配规则配置阶段，根据任务所属的阶段配置待下载正则规则时，使用正则表达式设置所匹配任务队列中的待下载链接的url，下载正则规则以任务入口url地址链接为规则匹配模式，根据入口url链接制定通用下载规则正则。