[发明专利]网络数据分布式采集系统及方法在审
| 申请号： | 201910002818.X | 申请日： | 2019-01-02 |
| 公开（公告）号： | CN109740038A | 公开（公告）日： | 2019-05-10 |
| 发明（设计）人： | 陆夏根;朱世伟;于俊凤;魏墨济;李晨;徐蓓蓓;张铭君;李宪毅;杨爱芹 | 申请（专利权）人： | 安徽芃睿科技有限公司 |
| 主分类号： | G06F16/951 | 分类号： | G06F16/951;G06F16/955;G06F16/182;G06F16/13 |
| 代理公司： | 济南圣达知识产权代理有限公司 37221 | 代理人： | 李琳 |
| 地址： | 230000 安*** | 国省代码： | 安徽;34 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本公开提供了一种网络数据分布式采集系统及方法，利用分布式爬虫去重算法对各来源的网页数据进行爬取，对爬取的页面进行预处理，利用视觉的页面分割算法构建相应的树，并根据视觉规则进行噪音节点的剪枝，对多层页面进行分类，根据不同特性确定不同类型页面下的谓词，通过规则推断出数据记录块节点与数据属性节点；利用分布式消息系统将预处理后的数据源分发，提供数据流，对数据流中的数据节点本身状态进行描述，形成状态信息；利用Hadoop分布式文件系统对数据流进行选择存储的操作，进而分发。 | ||
| 搜索关键词： | 数据流 页面 预处理 分布式采集系统 网络数据 分发 视觉 分布式文件系统 页面分割算法 分布式消息 爬虫 数据记录 数据节点 数据属性 特性确定 网页数据 选择存储 数据源 剪枝 多层 构建 去重 算法 谓词 推断 噪音 分类 | ||
【主权项】：
1.一种网络数据分布式采集方法，其特征是：包括以下步骤：(1)对各来源的网页数据进行爬取，构建哈希表保存已经访问过的统一资源定位符，并利用布隆过滤器进行地址判重；(2)对爬取的页面进行预处理，利用视觉的页面分割算法构建相应的树，并根据视觉规则进行噪音节点的剪枝，对多层页面进行分类，根据不同特性确定不同类型页面下的谓词，通过规则推断出数据记录块节点与数据属性节点；(3)对数据流进行选择存储的操作，数据节点通过心跳协议定期向控制节点汇报其状态信息，控制节点根据状态信息作为存储策略来选择数据节点是否合适的依据，根据设定的阈值与数据节点的状态信息来确定是否选择这个数据节点；(4)设计弹性分布式数据集结构，创建不同的分区，对数据进行内存的转存，对选择的数据进行优化存储，提取不同分区的存储数据，实现分布式采集。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于安徽芃睿科技有限公司，未经安徽芃睿科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910002818.X/，转载请声明来源钻瓜专利网。
