[发明专利]一种网页数据爬取合并方法及计算机可读存储介质

权利要求书

1.一种网页数据爬取合并方法，其特征在于，包括如下步骤：

数据抓取分析后执行数据抓取任务；为执行抓取数据的任务分配任务ID；

该任务抓取至少一个网页原件并将抓取的网页原件存储在物理存储平台，存储时为每个网页原件创建一索引标识；

在执行抓取任务的运行平台的缓存中，创建与该任务ID对应的索引表，所述索引表中包含该任务ID对应的任务抓取到的各网页原件的索引标识；

根据任务ID从运行平台的缓存中查找对应的索引表，根据索引表中的索引标识从所述物理存储平台读取并解析对应的所有网页原件，并将相同任务ID的解析结果合并。

2.根据权利要求1所述的一种网页数据爬取合并方法，其特征在于：抓取的目标网页包含多个分页，通过数据抓取分析，采用单任务抓取所有分页模式，执行如下步骤：

为所述抓取任务分配任务ID；

运行平台执行任务逐页抓取目标网页，并将抓取到每一个分页的网页原件逐个存储在物理存储平台，存储时对每一个分页的网页原件创建一索引标识；

在执行抓取任务的运行平台的缓存中，创建与该任务ID对应的索引表，所述索引表中包含了该任务ID对应的任务抓取到的目标网页所包含的所有分页的索引标识；

根据任务ID从运行平台的缓存中查找对应的索引表，根据索引表中的索引标识从所述物理存储平台读取并解析对应的所有分页的网页原件，并将相同任务ID的解析结果合并。

3.根据权利要求1所述的一种网页数据爬取合并方法，其特征在于：抓取的目标网页包含多个分页，通过数据抓取分析，采用多任务并发抓取所有分页模式，执行如下步骤：

将执行抓取数据的任务分解为多个分任务，配置各分任务需要抓取的分页页数，为各分任务分别分配一唯一的任务ID且为各分任务配置相同的Table ID，每个分任务分配在不同的运行平台上运行；

每个运行平台执行对应的分任务，抓取到每一个分页的网页原件均存储在所述物理存储平台，且在存储时对每一个网页原件创建一索引标识；在执行所述分任务的各个运行平台的缓存中，创建与该运行平台对应的任务ID的索引表，所述索引表中包含了该任务ID的分任务抓取到的所有分页的网页原件的索引标识；

创建该Table ID对应的目标表，根据任务ID从运行平台的缓存中获取对应的索引表，根据索引表中的索引标识从所述物理存储平台读取并解析与该任务ID对应的所有分页的网页原件，再根据所述Table ID将解析到的网页原件结果写入对应的目标表中，完成数据合并。

4.根据权利要求3所述的一种网页数据爬取合并方法，其特征在于，所述将执行抓取数据的任务分解为多个分任务的过程具体为：将任务分解为 ROUNDUP（（结束页码-开始页码）/步长）个分任务，所述步长为各分任务需要抓取的页数，所述ROUNDUP为向上求整的函数。

5.根据权利要求1所述的一种网页数据爬取合并方法，其特征在于：需要同时抓取多个目标网页，通过数据抓取分析，采用多任务并发抓取所有目标网页模式，执行如下步骤：

为每个目标网页创建一抓取任务，每个任务创建一任务ID；各任务分配在不同的运行平台上运行；

每个运行平台执行各自的任务，并将抓取到每一个网页原件存储在所述物理存储平台，且在存储时对每一个网页原件创建一索引标识；

在各个运行平台的缓存中，创建该运行平台对应的任务ID的索引表，所述索引表中包含了该任务ID的任务抓取到的网页原件的索引标识；

根据任务ID从对应的运行平台的缓存中获取索引表，根据索引表中的索引标识从所述物理存储平台读取并解析该任务ID对应的所有网页原件，并将相同任务ID的解析结果合并。

6.根据权利要求1至5任意项所述的一种网页数据爬取合并方法，其特征在于：所述物理存储平台为Hbase，将Hbase的Rowkey作为索引标识，所述Rowkey的组成规则为：加密后的网址_页码。

7.一种计算机可读存储介质，其上存储有指令，其特征在于，该指令被处理器加载时执行如权利要求1至6任意项所述的一种网页数据爬取合并方法。

8.根据权利要求7所述的一种计算机可读存储介质，其特征在于，所述物理存储平台为Hbase，将Hbase的Rowkey作为索引标识，所述Rowkey的组成规则为：加密后的网址_页码。