[发明专利]分布式互联网信息采集系统及方法在审
| 申请号： | 201910848301.2 | 申请日： | 2019-09-09 |
| 公开（公告）号： | CN110769026A | 公开（公告）日： | 2020-02-07 |
| 发明（设计）人： | 李善平 | 申请（专利权）人： | 河南拓普计算机网络工程有限公司 |
| 主分类号： | H04L29/08 | 分类号： | H04L29/08 |
| 代理公司： | 41123 河南科技通律师事务所 | 代理人： | 樊羿;张晓辉 |
| 地址： | 450000 河南省郑州市金*** | 国省代码： | 河南;41 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种分布式互联网信息采集系统及方法，旨在解决现有数据采集速度慢、适用范围窄的技术问题。本发明采集系统包括采集脚本编制模块、任务调度模块、微服务框架、数据存储模块，采集脚本编制模块用于生成记载采集需求的采集脚本；任务调度模块用于调整上述采集脚本的执行顺序；微服务框架与任务调度模块互相通信，用于接收采集脚本并分配至不同的下载节点；数据存储模块用于存储下载节点传送的下载内容。采集方法包括任务加载、任务解析、节点分配。本发明的有益技术效果在于：适用范围广、适用性强、采集效率高。 | ||
| 搜索关键词： | 采集 任务调度模块 脚本 数据存储模块 服务框架 脚本编制 下载节点 分布式互联网 信息采集系统 采集系统 互相通信 技术效果 节点分配 任务解析 数据采集 下载内容 加载 存储 传送 分配 | ||
【主权项】：
1.一种分布式互联网信息采集系统，其特征在于，包括采集脚本编制模块、任务调度模块、微服务框架、数据存储模块，所述采集脚本编制模块用于生成记载采集需求的采集脚本；所述任务调度模块用于调整所述采集脚本的执行顺序；所述微服务框架与所述任务调度模块互相通信，用于接收所述采集脚本并分配至不同的下载节点；所述数据存储模块用于存储所述下载节点传送的下载内容。/n
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于河南拓普计算机网络工程有限公司，未经河南拓普计算机网络工程有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910848301.2/，转载请声明来源钻瓜专利网。
