[发明专利]网页信息的获取方法、装置、计算机设备和存储介质

说明书

本申请涉及一种网页信息的获取方法、装置、计算机设备和存储介质，所述方法包括：获取具有不同集合优先级的多个种子集合；其中，至少一个种子集合包含具有不同爬取优先级的多个URL种子；从所述多个种子集合中，获取集合优先级最高的目标种子集合；当所述目标种子集合中包括具有不同爬取优先级的多个URL种子时，从所述多个URL种子中，提取爬取优先级最高的待爬取URL种子，并根据所述待爬取URL种子抓取网页信息，实现了根据集合间和集合内的两层优先级对URL种子进行爬取，可以根据不同爬取需求设置种子优先级并进行种子爬取，同时，采用该方法，在爬虫资源有限的情况下，可以优先爬取具有高优先级的URL种子。

技术领域

本申请涉及计算机技术领域，特别是涉及一种网页信息的获取方法、装置、计算机设备和存储介质。

背景技术

随着网络的迅速发展，互联网成为大量信息的载体，为了有效地从海量信息中提取有效信息，可以通过网络爬虫实现。网络爬虫是一种网页信息提取程序，执行爬虫的URL(统一资源定位器，Uniform Resource Locator)输入称为URL种子。

在现有技术中，URL种子被创建后可以存储至消息中间件，在爬取时，可以按照URL种子的存储顺序或者随机选择的方式，从中选择URL种子。然而，上述爬取方式单一，难以根据用户不同的爬取要求进行网页信息的获取。

发明内容

基于此，有必要针对上述技术问题，提供一种网页信息的获取方法、装置、计算机设备和存储介质。

一种网页信息的获取方法，所述方法包括：

获取具有不同集合优先级的多个种子集合；其中，至少一个种子集合包含具有不同爬取优先级的多个URL种子；

从所述多个种子集合中，获取集合优先级最高的目标种子集合；

当所述目标种子集合中包括具有不同爬取优先级的多个URL种子时，从所述多个URL种子中，提取爬取优先级最高的待爬取URL种子，并根据所述待爬取URL种子抓取网页信息。

可选地，所述从所述多个种子集合中，获取集合优先级最高的目标种子集合，包括：

根据所述多个种子集合各自对应的集合优先级，确定集合优先级排序最前的预设数量的种子集合，得到目标种子集合；

所述从所述多个URL种子中，提取爬取优先级最高的待爬取URL种子，包括：

根据所述目标种子集合中所述多个URL种子对应的爬取优先级，将爬取优先级排序最前的预设数量的URL种子确定为待爬取URL种子；

从所述目标种子集合中提取所述待爬取URL种子。

可选地，在所述从所述多个种子集合中，获取集合优先级最高的目标种子集合的步骤之后，所述方法还包括：

判断所述目标种子集合包含的多个URL种子是否具有爬取优先级；

当所述目标种子集合中的多个URL种子不具有爬取优先级时，在所述目标种子集合中随机选择待爬取的URL种子。

可选地，在所述获取具有不同集合优先级的多个种子集合的步骤之前，所述方法还包括：

获取候选URL种子对应的种子识别标识，根据所述种子识别标识，判断所述候选URL种子在预设时间内是否已爬取；

当所述候选URL种子在预设时间内未爬取，获取所述候选URL种子对应的历史爬取失败次数；

根据所述历史爬取失败次数，确定所述候选URL种子对应的爬取优先级，并根据所述爬取优先级将所述候选URL种子分类至对应的种子集合。

可选地，在所述获取候选URL种子对应的种子识别标识的步骤之前，所述方法还包括：