[发明专利]通用的分布式采集系统有效
| 申请号： | 201710298794.8 | 申请日： | 2017-04-28 |
| 公开（公告）号： | CN107145556B | 公开（公告）日： | 2020-12-29 |
| 发明（设计）人： | 胡淦;郑中华 | 申请（专利权）人： | 安徽博约信息科技股份有限公司 |
| 主分类号： | G06F16/951 | 分类号： | G06F16/951;G06F16/958;G06F16/27;G06F16/33;G06F9/50 |
| 代理公司： | 合肥律众知识产权代理有限公司 34147 | 代理人： | 白凯园 |
| 地址： | 230000 安徽省合肥市高新*** | 国省代码： | 安徽;34 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种通用分分布式采集系统，包括种子仓库、任务调度模块、数据抓取模块、正文页仓库；种子仓库用于存放需求站点的URL并设定信息源类别和采集时间间隔；任务调度模块用于协调各采集节点的任务负载量；数据抓取模块用于对分配过来的采集任务进行信息抓取，分为列表页抓取和正文页抓取；任务调度模块和数据抓取模块均包括服务端和客户端，并且都采用了分布式通讯框架；正文页仓库是用来存储解析出来的正文网页链接，为数据抓取模块中的正文页抓取提供站点入口。 | ||
| 搜索关键词： | 通用 分布式 采集 系统 | ||
【主权项】：
通用的分布式采集系统，其特征在于：包括种子仓库、任务调度模块、数据抓取模块、正文页仓库；所述种子仓库用于存放需求站点的URL并设定信息源类别和采集时间间隔；所述任务调度模块用于协调各采集节点的任务负载量；数据抓取模块用于对分配过来的采集任务进行信息抓取，且分为列表页抓取和正文页抓取；所述任务调度模块和数据抓取模块均包括服务端和客户端，且任务调度模块和数据抓取模块都采用分布式通讯框架；所述正文页仓库是用来存储解析出来的正文网页链接，为数据抓取模块中的正文页抓取提供站点入口。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于安徽博约信息科技股份有限公司，未经安徽博约信息科技股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201710298794.8/，转载请声明来源钻瓜专利网。
- 上一篇：一种胶囊生产放液装置
- 下一篇：光伏箱变测控装置
