[发明专利]网络数据的采集方法、装置、终端及存储介质

权利要求书

1.一种网络数据的采集方法，其特征在于，包括：

在多个初始IP访问目标网站的情况下，基于所述多个初始IP和预设访问频率，确定多个目标IP；

基于所述多个目标IP，得到多个cookie；

在所述多个cookie同时登录所述目标网站的情况下，利用网络爬虫采集所述目标网站对应的初始网络数据；

利用预设算法对所述初始网络数据进行处理，得到目标网络数据，其中，所述多个初始IP、所述多个目标IP和所述多个cookie一一对应。

2.如权利要求1所述的网络数据的采集方法，其特征在于，所述在多个初始IP访问目标网站的情况下，基于所述多个初始IP和预设访问频率，确定多个目标IP，包括：

在多个初始IP访问目标网站的情况下，识别所述多个初始IP对应的多个访问频率；

基于所述多个访问频率和所述预设访问频率，确定所述多个目标IP。

3.如权利要求2所述的网络数据的采集方法，其特征在于，所述基于所述多个访问频率和所述预设访问频率，确定所述多个目标IP，包括：

若所述多个访问频率中存在大于所述预设访问频率的目标访问频率，基于所述目标访问频率和IP池，确定更新后的多个初始IP，并将所述更新后的多个初始IP作为所述多个目标IP；

若所述多个访问频率中不存在大于所述预设访问频率的目标频率，将所述多个初始IP作为所述多个目标IP。

4.如权利要求3所述的网络数据的采集方法，其特征在于，所述基于所述目标访问频率和IP池，确定更新后的多个初始IP，包括：

确定所述目标访问频率对应的初始IP；

利用所述IP池中的闲置IP替换所述目标访问频率对应的初始IP，得到更新后的多个初始IP。

5.如权利要求4所述的网络数据的采集方法，其特征在于，所述在所述多个cookie同时登录所述目标网站的情况下，利用网络爬虫采集所述目标网站对应的初始网络数据，包括：

在所述多个cookie同时登录所述目标网站的情况下，确定所述多个cookie中的每个cookie对应的预设爬取任务；

所述网络爬虫基于所述预设爬取任务采集所述目标网站中的网页中的数据，得到所述每个cookie对应的网络数据；

将每个cookie对应的网络数据进行汇总，得到所述初始网络数据。

6.如权利要求5所述的网络数据的采集方法，其特征在于，所述利用预设算法对所述初始网络数据进行处理，得到目标网络数据，包括：

利用海明哈希算法去除所述初始网络数据中的重复网络数据，得到所述目标网络数据。

7.如权利要求6所述的网络数据的采集方法，其特征在于，所述利用海明哈希算法去除所述初始网络数据中的重复网络数据，得到所述目标网络数据之后，还包括：

将所述目标网络数据进行分布式数据存储，得到分布式网络数据。

8.一种网络数据的采集装置，其特征在于，包括：

IP确定模块，用于在多个初始IP访问目标网站的情况下，基于所述多个初始IP和预设访问频率，确定多个目标IP；

cookie确定模块，用于基于所述多个目标IP，得到多个cookie；

初始网络数据确定模块，用于在所述多个cookie同时登录所述目标网站的情况下，利用网络爬虫采集所述目标网站对应的初始网络数据；

目标网络数据确定模块，用于利用预设算法对所述初始网络数据进行处理，得到目标网络数据，其中，所述多个初始IP、所述多个目标IP和所述多个cookie一一对应。

9.一种终端，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述网络数据的采集方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行所述计算机程序时实现如权利要求1至7中任一项所述网络数据的采集方法的步骤。