[发明专利]一种网页数据爬取合并方法及计算机可读存储介质在审
| 申请号： | 201910185480.6 | 申请日： | 2019-03-12 |
| 公开（公告）号： | CN109918557A | 公开（公告）日： | 2019-06-21 |
| 发明（设计）人： | 邱涛;丘水文;陈成乐 | 申请（专利权）人： | 厦门商集网络科技有限责任公司 |
| 主分类号： | G06F16/951 | 分类号： | G06F16/951;G06F16/22;G06F16/2458 |
| 代理公司： | 福州科扬专利事务所 35001 | 代理人： | 何小星 |
| 地址： | 361101 福建省厦*** | 国省代码： | 福建;35 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明涉及一种网页数据爬取合并方法，包括如下步骤：为执行抓取数据的任务分配任务ID；该任务抓取网页原件并将其存储在物理存储平台上，存储时每个网页原件创建一索引标识；在执行抓取任务的运行平台的缓存中，创建该任务ID对应的索引表，所述索引表中包含了该任务ID的任务抓取到的各网页原件的索引标识；解析时，根据任务ID从运行平台的缓存中获取对应的索引表，根据索引表中的索引标识读取对应的所有网页原件进行解析合并。本发明能够对大批量小文件的数据进行高效率抓取，充分利用机器资源，最大限度地发挥集群效率。 | ||
| 搜索关键词： | 索引表 抓取 索引标识 网页 缓存 任务抓取 网页数据 运行平台 合并 解析 存储 计算机可读存储介质 读取 机器资源 任务分配 物理存储 高效率 小文件 集群 创建 | ||
【主权项】：
1.一种网页数据爬取合并方法，其特征在于，包括如下步骤：数据抓取分析后执行数据抓取任务；为执行抓取数据的任务分配任务ID；该任务抓取至少一个网页原件并将抓取的网页原件存储在物理存储平台，存储时为每个网页原件创建一索引标识；在执行抓取任务的运行平台的缓存中，创建与该任务ID对应的索引表，所述索引表中包含该任务ID对应的任务抓取到的各网页原件的索引标识；根据任务ID从运行平台的缓存中查找对应的索引表，根据索引表中的索引标识从所述物理存储平台读取并解析对应的所有网页原件，并将相同任务ID的解析结果合并。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于厦门商集网络科技有限责任公司，未经厦门商集网络科技有限责任公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910185480.6/，转载请声明来源钻瓜专利网。
