[发明专利]一种分布式的数据采集方法和系统在审
| 申请号： | 201811466613.9 | 申请日： | 2018-12-03 |
| 公开（公告）号： | CN109783711A | 公开（公告）日： | 2019-05-21 |
| 发明（设计）人： | 赵淦森;林成创;列海权;纪求华;赵淑娴;言超;蔡斯凯;梁昕;李胜龙;庄序填 | 申请（专利权）人： | 广东蔚海数问大数据科技有限公司 |
| 主分类号： | G06F16/951 | 分类号： | G06F16/951 |
| 代理公司： | 广州嘉权专利商标事务所有限公司 44205 | 代理人： | 胡辉 |
| 地址： | 510000 广东省广*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种分布式的数据采集方法和系统，该方法包括以下步骤：获取N个目标主页的初始分类数据，所述N个目标主页被分为第一集合和第二集合，其中第一集合为更新频繁的目标主页的集合；分配t1个第一并发进程对属于第一集合的目标主页进行数据采集；分配t2个第二并发进程对属于第二集合的目标主页进行数据采集；根据所述t1个第一并发进程和所述t2个第二并发进程所采集的数据，得到每个目标主页在最近X天内的更新总量；根据每个目标主页在最近X天内的更新总量对所述N个目标主页进行二次分类。本发明优化了并发进程的分配方式，能够提升IP资源的使用效率，降低数据采集的延时。本发明可以广泛应用于爬虫技术。 | ||
| 搜索关键词： | 目标主页 数据采集 集合 并发 进程 更新 二次分类 分类数据 分配方式 爬虫技术 使用效率 分配 延时 采集 应用 优化 | ||
【主权项】：
1.一种分布式的数据采集方法，其特征在于：包括初始化步骤和循环执行步骤：所述初始化步骤包括：获取N个目标主页的初始分类数据；所述N个目标主页被分为第一集合和第二集合，其中，属于第一集合的目标主页在设定时间内的平均更新总量大于属于第二集合的目标主页在相同时间内的平均更新总量，且属于第一集合的目标主页的数量小于属于第二集合的目标主页的数量；所述循环执行步骤包括：分配t1个第一并发进程对属于第一集合的目标主页进行数据采集；分配t2个第二并发进程对属于第二集合的目标主页进行数据采集；其中，t1＞t2；根据所述t1个第一并发进程和所述t2个第二并发进程所采集的数据，得到每个目标主页在最近X天内的更新总量；根据每个目标主页在最近X天内的更新总量对所述N个目标主页进行二次分类；其中，X、N、t1和t2均为正整数。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于广东蔚海数问大数据科技有限公司，未经广东蔚海数问大数据科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201811466613.9/，转载请声明来源钻瓜专利网。
