[发明专利]数据处理方法、装置、设备及可读存储介质

说明书

本申请实施例提供了一种数据处理方法、装置、设备及可读存储介质，客户端响应于预设的刷新指令，刷新目标网页，目标网页为预设的目标网址指示的网页。获取目标数据，目标数据为位于目标网页中预设的目标位置处的数据。依据目标数据与历史目标数据，判断是否存在数据更新，历史目标数据为刷新目标网页之前，位于目标位置的数据。若存在数据更新，向服务端发送变化通知。响应于接收到变化通知，依据变化通知，执行第一预设流程，变化通知指示目标网页存在数据更新。由上可知，客户端依据目标数据，确定目标网页是否发生数据变化，由服务端对变化的网页数据进行处理，无需全量采集页面数据，提高监测效率，节省计算资源。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种数据处理方法、装置、设备及可读存储介质。

背景技术

伴随着数据信息行业的快速发展，网络爬虫已成为人们在浩瀚的网络世界中获取信息必不可少的工具。现有技术中，由于客户端无法胜任复杂计算，一般是由服务端利用网络爬虫，周期性对网页进行全量数据采集，并分析是否产生数据变化，但是，由于全量数据的采集和分析计算量大，耗时久，所以无法及时感知到网页的数据变化，因此，现有技术对于变化数据的处理不够及时且效率低。

发明内容

本申请提供了一种数据处理方法、装置、设备及可读存储介质，用于提高数据处理的效率，如下：

一种数据处理方法，应用于客户端，包括：

响应于预设的刷新指令，刷新目标网页，所述目标网页为预设的目标网址指示的网页；

获取目标数据，所述目标数据为位于所述目标网页中预设的目标位置处的数据；

依据所述目标数据与历史目标数据，判断是否存在数据更新，所述历史目标数据为刷新所述目标网页之前，位于所述目标位置的数据；

若存在数据更新，向服务端发送变化通知，以使所述服务端响应于所述变化通知，获取所述目标网页的网页数据，对比所述目标网页的网页数据和所述目标网页的历史数据，获取变化数据，作为数据处理结果。

可选地，在所述响应于预设的刷新指令，刷新目标网页之前，还包括：

依据预设参数，建立监测任务；所述预设参数包括预设刷新周期、所述目标网址和所述目标位置；

响应于所述预设刷新周期指示的刷新时间，发出所述刷新指令。

可选地，预设参数还包括：心跳周期和心跳信息；

在所述建立监测任务之后，还包括： 响应于达到所述心跳周期指示的发送时间，发送所述心跳信息至所述服务端。

一种数据处理方法，应用于服务端，包括：

响应于接收到变化通知，依据所述变化通知，获取目标网页的网页数据；所述变化通知由客户端依据目标数据与历史目标数据，确定存在数据更新后发送至所述服务端，所述目标数据为位于所述目标网页中预设的目标位置处的数据；

对比所述目标网页的网页数据和所述目标网页的历史数据，获取变化数据，作为数据处理结果。

可选地，还包括：

响应于接收到所述变化通知，至少依据所述变化通知，生成推送消息，所述推送消息至少指示所述目标网页存在数据更新；

将所述推送消息发送至预设账号。

可选地，还包括：

响应于接收到所述变化通知，获取所述变化通知的第一处理标识和第二处理标识，所述第一处理标识为有效标识或无效标识中一项，所述第二处理标识为已完成标识或未完成标识中一项；

所述对比所述目标网页的网页数据和所述目标网页的历史数据，获取变化数据，作为数据处理结果，包括：

若所述第一处理标识为所述有效标识，且所述第二处理标识为所述未完成标识，对比所述目标网页的网页数据和所述目标网页的历史数据，获取变化数据，作为数据处理结果。

可选地，还包括：