[发明专利]一种网页数据爬取合并方法及计算机可读存储介质

说明书

本发明涉及一种网页数据爬取合并方法，包括如下步骤：为执行抓取数据的任务分配任务ID；该任务抓取网页原件并将其存储在物理存储平台上，存储时每个网页原件创建一索引标识；在执行抓取任务的运行平台的缓存中，创建该任务ID对应的索引表，所述索引表中包含了该任务ID的任务抓取到的各网页原件的索引标识；解析时，根据任务ID从运行平台的缓存中获取对应的索引表，根据索引表中的索引标识读取对应的所有网页原件进行解析合并。本发明能够对大批量小文件的数据进行高效率抓取，充分利用机器资源，最大限度地发挥集群效率。

技术领域

本发明涉及一种网页数据爬取合并方法及计算机可读存储介质，属于网络数据采集领域。

背景技术

目前业界应用上开源的数据爬虫技术非常多，但是如何将当前的爬虫技术使用好，达到企业的价值期望，很大层面是由爬虫的数据抓取效率决定的。要提高爬虫的抓取效率，则需要在爬虫的控制方面做不少的工作，如采用分布式模式提高并发度，或采用跨平台抓取以降低抓取数据的成本，如图1所示，但是这其中又带来了抓取到的数据分散导致数据集中合并的问题需要解决。

短时间持续不断的抓取大量的互联网数据时，同时所要抓取的目标网页存在分页显示的情况下，若采用现有技术中的单任务分页抓取模式，所爬取到的是离散的单页的HTML小文件；若采用现有技术中的多任务分页抓取模式，由于采用不同平台共同抓取，在不同平台上获取到离散的单页的HTML小文件再进行合并整理，离散的单页的HTML小文件数量若过多还会导致计算机合并文件寻址过程拥堵的情况。

发明内容

为了解决上述技术问题，本发明提供一种网页数据爬取合并方法，其能够对大批量小文件的数据进行有序高效地抓取，充分利用机器资源，最大限度地发挥集群效率。

本发明的技术方案如下：

一种网页数据爬取合并方法，包括如下步骤：数据抓取分析后执行数据抓取任务；为执行抓取数据的任务分配任务ID；该任务抓取至少一个网页原件并将抓取的网页原件存储在物理存储平台，存储时为每个网页原件创建一索引标识；在执行抓取任务的运行平台的缓存中，创建与该任务ID对应的索引表，所述索引表中包含该任务ID对应的任务抓取到的各网页原件的索引标识；根据任务ID从运行平台的缓存中查找对应的索引表，根据索引表中的索引标识从所述物理存储平台读取并解析对应的所有网页原件，并将相同任务ID的解析结果合并。

更优地，抓取的目标网页包含多个分页，通过数据抓取分析，采用单任务抓取所有分页模式，执行如下步骤：为所述抓取任务分配任务ID；运行平台执行任务逐页抓取目标网页，并将抓取到每一个分页的网页原件逐个存储在物理存储平台，存储时对每一个分页的网页原件创建一索引标识；在执行抓取任务的运行平台的缓存中，创建与该任务ID对应的索引表，所述索引表中包含了该任务ID对应的任务抓取到的目标网页所包含的所有分页的索引标识；根据任务ID从运行平台的缓存中查找对应的索引表，根据索引表中的索引标识从所述物理存储平台读取并解析对应的所有分页的网页原件，并将相同任务ID的解析结果合并。

更优地，抓取的目标网页包含多个分页，通过数据抓取分析，采用多任务并发抓取所有分页模式，执行如下步骤：将执行抓取数据的任务分解为多个分任务，配置各分任务需要抓取的分页页数，为各分任务分别分配一唯一的任务ID且为各分任务配置相同的TableID，每个分任务分配在不同的运行平台上运行；每个运行平台执行对应的分任务，抓取到每一个分页的网页原件均存储在所述物理存储平台，且在存储时对每一个网页原件创建一索引标识；在执行所述分任务的各个运行平台的缓存中，创建与该运行平台对应的任务ID的索引表，所述索引表中包含了该任务ID的分任务抓取到的所有分页的网页原件的索引标识；创建该Table ID对应的目标表，根据任务ID从运行平台的缓存中获取对应的索引表，根据索引表中的索引标识从所述物理存储平台读取并解析与该任务ID对应的所有分页的网页原件，再根据所述Table ID将解析到的网页原件结果写入对应的目标表中，完成数据合并。