[发明专利]一种基于URL规则匹配的网页采集任务自动化分拣方法在审
| 申请号： | 202010770485.8 | 申请日： | 2020-08-04 |
| 公开（公告）号： | CN111859207A | 公开（公告）日： | 2020-10-30 |
| 发明（设计）人： | 王勇 | 申请（专利权）人： | 浪潮卓数大数据产业发展有限公司 |
| 主分类号： | G06F16/955 | 分类号： | G06F16/955;G06F9/50;G06F9/54;H04L29/08 |
| 代理公司： | 济南信达专利事务所有限公司 37100 | 代理人： | 冯春连 |
| 地址： | 214029 江苏省无锡市滨*** | 国省代码： | 江苏;32 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开一种基于URL规则匹配的网页采集任务自动化分拣方法，涉及大数据技术领域，其包括：1)匹配规则配置：在采集任务中制定网页采集任务url模式匹配正则规则，根据任务所属的阶段配置待下载、解析和内容提取正则规则；2)任务调度编排：拉取待执行任务主题，根据调度分发队列进行拆包并放置于待处理任务队列，规则匹配节点依次从任务队列中获取任务包，根据任务包的url地址模式与规则匹配节点匹配后进行转发，下载、解析和抽取规则作为任务调度分拣器，与kafka主题实现一一对应，完成匹配后的任务调用生产者接口写入主题域中；3)基于任务的调度和处理解析构建分层主题模型并配置分拣策略。本方法可以减少任务调度时间，增强任务处理的吞吐量。 | ||
| 搜索关键词： | 一种 基于 url 规则 匹配 网页 采集 任务 自动化 分拣 方法 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于浪潮卓数大数据产业发展有限公司，未经浪潮卓数大数据产业发展有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202010770485.8/，转载请声明来源钻瓜专利网。
