[发明专利]数据爬取方法、装置、服务器及存储介质

权利要求书

1.一种数据爬取方法，其特征在于，所述数据爬取方法包括：

根据预设调度规则，获取多个待爬取链接；

确定每个所述待爬取链接的类型；

根据所述类型，从预设的多个代理网际互连协议中确定目标代理网际互连协议；

通过所述目标网际互连协议，对每个所述待爬取链接进行数据爬取，获得数据爬取结果；

若所述数据爬取结果正常，根据预设的配置规则，对所述数据爬取结果中的数据进行解析，获得目标数据。

2.根据权利要求1所述的数据爬取方法，其特征在于，所述数据爬取方法还包括：

若所述数据爬取结果异常，将所述数据爬取结果对应的待爬取链接确定为目标链接；

按照预设时间间隔，对所述目标链接重新进行数据爬取，获得重新爬取结果；

确定所述目标链接进行数据爬取的操作次数；

若所述重新爬取结果异常且所述操作次数大于预设操作次数阈值，根据所述目标链接的类型，从除了所述目标代理网际互连协议之外的预设的多个代理网际互连协议中确定重试代理网际互连协议；

通过所述重试代理网际互连协议，对所述目标链接进行数据爬取，获得重试爬取结果。

3.根据权利要求1所述的数据爬取方法，其特征在于，所述通过所述目标网际互连协议，对每个所述待爬取链接进行数据爬取，获得数据爬取结果之后，所述数据爬取方法还包括：

若所述数据爬取结果正常，将所述数据爬取结果对应的待爬取链接确定为已爬取链接；

生成与所述已爬取链接对应的唯一标识；

将所述唯一标识存储至布隆过滤器中，或将所述唯一标识存储至预设数据库中。

4.根据权利要求3所述的数据爬取方法，其特征在于，所述数据爬取方法还包括：

若所述对每个所述待爬取链接进行数据爬取的过程发生了中断，查询每个所述待爬取链接的唯一标识；

将不存在唯一标识的待爬取链接确定为未爬取链接；

对所述未爬取链接继续进行数据爬取。

5.根据权利要求1至4中任一项所述的数据爬取方法，其特征在于，所述根据所述类型，从预设的多个代理网际互连协议中确定目标代理网际互连协议包括：

获取每个所述代理网际协议在第一预设时间范围内访问所述类型的链接的访问次数以及获取每个所述代理网际协议的上一次访问所述类型的链接的时间间隔；

根据预设权重、所述访问次数以及所述时间间隔，从预设的多个代理网际互连协议中确定目标代理网际互连协议。

6.根据权利要求1至4中任一项所述的数据爬取方法，其特征在于，所述根据预设调度规则，获取多个待爬取链接包括：

确定当前负载；

从待爬取队列中获取与所述当前负载对应数量的待爬取链接。

7.根据权利要求1至4中任一项所述的数据爬取方法，其特征在于，所述数据爬取方法还包括：

统计每个代理网际互连协议在第二预设时间范围内对应的数据爬取的异常次数；

若所述异常次数大于预设异常次数阈值，生成告警信息；

将所述告警信息发送至预设终端。

8.一种数据爬取装置，其特征在于，所述数据爬取装置包括：

获取模块，用于根据预设调度规则，获取多个待爬取链接；

确定模块，用于确定每个所述待爬取链接的类型；

所述确定模块，还用于根据所述类型，从预设的多个代理网际互连协议中确定目标代理网际互连协议；

爬取模块，用于通过所述目标网际互连协议，对每个所述待爬取链接进行数据爬取，获得数据爬取结果；

解析模块，用于若所述数据爬取结果正常，根据预设的配置规则，对所述数据爬取结果中的数据进行解析，获得目标数据。

9.一种服务器，其特征在于，所述服务器包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序以实现如权利要求1至7中任意一项所述的数据爬取方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有至少一个指令，所述至少一个指令被处理器执行时实现如权利要求1至7中任意一项所述的数据爬取方法。