[发明专利]一种数据爬取方法、装置、存储介质及处理器

权利要求书

1.一种数据爬取方法，其特征在于，包括：

对第一设备加载第一网页时发送至网页服务器的网络请求进行记录，获得网络请求记录，根据所述网页服务器返回给所述第一设备的、对所述网络请求的响应对所述网络请求记录进行更新；

根据所述网络请求记录确定所述网页服务器是否已处理完毕所述第一设备加载所述第一网页时发送至所述网页服务器的全部网络请求；

当所述网页服务器已处理完毕所述第一设备加载所述第一网页时发送至所述网页服务器的全部网络请求时，控制爬虫对所述第一网页进行数据爬取。

2.根据权利要求1所述的方法，其特征在于，所述根据所述网页服务器返回给所述第一设备的、对所述网络请求的响应对所述网络请求记录进行更新，包括：

判断所述网页服务器返回给第一设备的、对第一网络请求的响应是否为预设响应组中的响应；

当所述网页服务器返回给第一设备的、对第一网络请求的响应为预设响应组中的响应时，将所述网络请求记录中的所述第一网络请求删除。

3.根据权利要求2所述的方法，其特征在于，所述根据所述网络请求记录确定所述网页服务器是否已处理完毕所述第一设备加载所述第一网页时发送至所述网页服务器的全部网络请求，包括：

确定所述网络请求记录是否存在至少一个网络请求；

如果是，则确定所述网页服务器未处理完毕所述第一设备加载所述第一网页时发送至所述网页服务器的全部网络请求；

如果否，则判断在距离第一时刻之后的预设时间内是否获得所述第一设备加载第一网页时发送至网页服务器的至少一个网络请求；

如果获得至少一个网络请求，则确定所述网页服务器未处理完毕所述第一设备加载所述第一网页时发送至所述网页服务器的全部网络请求；

如果未获得网络请求，则确定所述网页服务器已处理完毕所述第一设备加载所述第一网页时发送至所述网页服务器的全部网络请求，所述第一时刻是确定所述网络请求记录不存在至少一个网络请求的时刻。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当所述网页服务器未处理完毕所述第一设备加载所述第一网页时发送至所述网页服务器的全部网络请求时，返回执行所述根据所述网页服务器返回给所述第一设备的、对所述网络请求的响应对所述网络请求记录进行更新的步骤。

5.根据权利要求1所述的方法，其特征在于，所述对第一设备加载第一网页时发送至网页服务器的网络请求进行记录，获得网络请求记录，包括：

对第一设备加载第一网页时发送至网页服务器的网络请求中的网络地址信息进行记录，获得网络请求记录，其中，所述网络请求记录中包括：网络请求中的网络地址信息。

6.根据权利要求1所述的方法，其特征在于，所述对第一设备加载第一网页时发送至网页服务器的网络请求进行记录，获得网络请求记录，包括：

监测所述第一设备加载所述第一网页时发送至网页服务器的网络请求对应的网络请求发出事件；

当监测到所述网络请求发生事件时，记录所述网络请求中的网络地址信息，获得网络请求记录，其中，所述网络请求记录中包括：网络请求中的网络地址信息。

7.根据权利要求6所述的方法，其特征在于，所述根据所述网页服务器返回给所述第一设备的、对所述网络请求的响应对所述网络请求记录进行更新，包括：

监测所述网页服务器返回给第一设备的、对网络请求发出事件的响应是否为预设响应组中的响应，所述预设响应组中的响应包括：网络完成事件和网络报错事件；

当所述网页服务器返回给第一设备的、对网络请求发出事件的响应为预设响应组中的响应时，将所述网络请求记录中的所述网络地址信息删除。