[发明专利]网页信息的获取方法、装置、计算机设备和存储介质

权利要求书

1.一种网页信息的获取方法，其特征在于，所述方法包括：

获取具有不同集合优先级的多个种子集合；其中，至少一个种子集合包含具有不同爬取优先级的多个URL种子；

从所述多个种子集合中，获取集合优先级最高的目标种子集合；

当所述目标种子集合中包括具有不同爬取优先级的多个URL种子时，从所述多个URL种子中，提取爬取优先级最高的待爬取URL种子，并根据所述待爬取URL种子抓取网页信息。

2.根据权利要求1所述的方法，其特征在于，所述从所述多个种子集合中，获取集合优先级最高的目标种子集合，包括：

根据所述多个种子集合各自对应的集合优先级，确定集合优先级排序最前的预设数量的种子集合，得到目标种子集合；

所述从所述多个URL种子中，提取爬取优先级最高的待爬取URL种子，包括：

根据所述目标种子集合中所述多个URL种子对应的爬取优先级，将爬取优先级排序最前的预设数量的URL种子确定为待爬取URL种子；

从所述目标种子集合中提取所述待爬取URL种子。

3.根据权利要求2所述的方法，其特征在于，在所述从所述多个种子集合中，获取集合优先级最高的目标种子集合的步骤之后，所述方法还包括：

判断所述目标种子集合包含的多个URL种子是否具有爬取优先级；

当所述目标种子集合中的多个URL种子不具有爬取优先级时，在所述目标种子集合中随机选择待爬取的URL种子。

4.根据权利要求1所述的方法，其特征在于，在所述获取具有不同集合优先级的多个种子集合的步骤之前，所述方法还包括：

获取候选URL种子对应的种子识别标识，根据所述种子识别标识，判断所述候选URL种子在预设时间内是否已爬取；

当所述候选URL种子在预设时间内未爬取，获取所述候选URL种子对应的历史爬取失败次数；

根据所述历史爬取失败次数，确定所述候选URL种子对应的爬取优先级，并根据所述爬取优先级将所述候选URL种子分类至对应的种子集合。

5.根据权利要求4所述的方法，其特征在于，在所述获取候选URL种子对应的种子识别标识的步骤之前，所述方法还包括：

获取候选URL种子对应的爬取任务执行时间、网站域名和网站地址信息；

对所述网站地址信息进行哈希处理，得到所述网站地址信息对应的哈希值；

根据所述爬取任务执行时间、所述哈希值和所网站域名，生成所述候选URL种子对应的种子识别标识。

6.根据权利要求5所述的方法，其特征在于，所述根据所述种子识别标识，判断所述候选URL种子在预设时间内是否已爬取，包括：

获取已爬取URL种子集合和未爬取URL种子集合；

根据所述种子识别标识，分别与所述已爬取URL种子集合和所述未爬取URL种子集合中的种子识别标识匹配；

若所述种子识别标识与所述未爬取URL种子集合中的种子识别标识匹配成功，确定所述候选URL种子在预设时间内未爬取。

7.根据权利要求4所述的方法，其特征在于，所述根据所述历史爬取失败次数，确定所述候选URL种子对应的爬取优先级，包括：

当所述历史爬取失败次数小于失败次数阈值时，根据所述历史爬取失败次数对应的扣减分值和历史爬取成功次数对应的增加分值，计算所述候选URL种子对应的总分值，作为爬取优先级。

8.一种网页信息的获取装置，其特征在于，所述装置包括：

种子集合获取模块，用于获取具有不同集合优先级的多个种子集合；其中，至少一个种子集合包含具有不同爬取优先级的多个URL种子；

目标种子集合获取模块，用于从所述多个种子集合中，获取集合优先级最高的目标种子集合；

URL种子提取模块，用于当所述目标种子集合中包括具有不同爬取优先级的多个URL种子时，从所述多个URL种子中，提取爬取优先级最高的待爬取URL种子，并根据所述待爬取URL种子抓取网页信息。