[发明专利]数据爬取方法、装置、服务器及存储介质

说明书

本发明涉及大数据技术领域，提供一种数据爬取方法，所述方法包括：根据预设调度规则，获取多个待爬取链接；确定每个所述待爬取链接的类型；根据所述类型，从预设的多个代理网际互连协议中确定目标代理网际互连协议；通过所述目标网际互连协议，对每个所述待爬取链接进行数据爬取，获得数据爬取结果；若所述数据爬取结果正常，根据预设的配置规则，对所述数据爬取结果中的数据进行解析，获得目标数据。本发明还提供一种数据爬取装置、服务器及存储介质。本发明能提高数据爬取的成功率。此外，本发明还涉及区块链技术，目标数据可存储于区块链节点中。

技术领域

本发明涉及大数据技术领域，尤其涉及一种数据爬取方法、装置、服务器及存储介质。

背景技术

目前，随着计算机技术的发展，可以通过爬虫程序快速爬取网站的数据。但在实践中发现，很多网站会通过特定的算法有一定的概率识别出爬虫程序并禁止爬虫程序访问，导致数据爬取的成功率不高。

因此，如何提高数据爬取的成功率是一个亟需解决的技术问题。

发明内容

鉴于以上内容，有必要提供一种数据爬取方法、装置、服务器及存储介质，能够提高数据爬取的成功率。

本发明的第一方面提供一种数据爬取方法，所述方法包括：

根据预设调度规则，获取多个待爬取链接；

确定每个所述待爬取链接的类型；

根据所述类型，从预设的多个代理网际互连协议中确定目标代理网际互连协议；

通过所述目标网际互连协议，对每个所述待爬取链接进行数据爬取，获得数据爬取结果；

若所述数据爬取结果正常，根据预设的配置规则，对所述数据爬取结果中的数据进行解析，获得目标数据。

在一种可能的实现方式中，所述数据爬取方法还包括：

若所述数据爬取结果异常，将所述数据爬取结果对应的待爬取链接确定为目标链接；

按照预设时间间隔，对所述目标链接重新进行数据爬取，获得重新爬取结果；

确定所述目标链接进行数据爬取的操作次数；

若所述重新爬取结果异常且所述操作次数大于预设操作次数阈值，根据所述目标链接的类型，从除了所述目标代理网际互连协议之外的预设的多个代理网际互连协议中确定重试代理网际互连协议；

通过所述重试代理网际互连协议，对所述目标链接进行数据爬取，获得重试爬取结果。

在一种可能的实现方式中，所述通过所述目标网际互连协议，对每个所述待爬取链接进行数据爬取，获得数据爬取结果之后，所述数据爬取方法还包括：

若所述数据爬取结果正常，将所述数据爬取结果对应的待爬取链接确定为已爬取链接；

生成与所述已爬取链接对应的唯一标识；

将所述唯一标识存储至布隆过滤器中，或将所述唯一标识存储至预设数据库中。

在一种可能的实现方式中，所述数据爬取方法还包括：

若所述对每个所述待爬取链接进行数据爬取的过程发生了中断，查询每个所述待爬取链接的唯一标识；

将不存在唯一标识的待爬取链接确定为未爬取链接；

对所述未爬取链接继续进行数据爬取。

在一种可能的实现方式中，所述根据所述类型，从预设的多个代理网际互连协议中确定目标代理网际互连协议包括：