[发明专利]页面数据采集处理方法、装置、计算机设备和存储介质

说明书

本申请涉及一种页面数据采集处理方法、装置、计算机设备和存储介质。该方法包括：接收应用服务器根据终端发送的访问请求返回的页面数据，调用初始化的页面收集插件监听页面变化数据；当检测到页面数据发生变化时，通过页面收集插件采集第一页面状态数据，关闭页面收集插件的监听端口；当检测到用户触发的操作事件时，获取对应的操作页面数据，将操作页面数据与第一页面状态数据进行比对；若操作页面数据与第一页面状态数据不一致，调用页面收集插件收集页面操作数据对应的第二页面状态数据；将第一页面状态数据和第二页面状态数据根据页面标识上传至运维服务器，使得运维服务器对页面数据进行分析。采用本方法能够有效提高页面数据采集效率。

技术领域

本申请涉及计算机技术领域，特别是涉及一种页面数据采集处理方法、装置、计算机设备和存储介质。

背景技术

随着计算机技术的迅速发展，出现了许多web应用等互联网产品。在web应用等互联网产品运行的过程中，通常是通过接入在线收集插件，收集用户在操作过程中的页面数据。通常情况下各个应用都有对应的先后执行率。当需要收集web应用中用户操作的最后页面状态时，在线收集插件已经对运行代码进行了第一次收集，当用户未发生操作事件的时候，收集页面内容不被更新为最终状态，当用户结束操作时，这时候无法获取到页面的最终状态，导致页面数据的收集效率较低。

现有的网页数据采集方式通常是实时监听网页数据，通过判断标记的元素是否发生变化，以判断网页数据是否发生变化。这种方式需要实时监听数据是否发生变化，计算量较大，占用的计算资源较多，导致网页页面数据的监听和采集的效率较低。

发明内容

基于此，有必要针对上述技术问题，提供一种能够有效提高页面数据采集效率的页面数据采集处理方法、装置、计算机设备和存储介质。

一种页面数据采集处理方法，所述方法包括：

发送访问请求至应用服务器，使得所述应用服务器根据所述访问请求获取对应的页面数据并返回至终端；

接收所述应用服务器返回的页面数据，所述页面数据携带页面标识；

调用初始化的页面收集插件，利用所述页面收集插件监听页面变化数据；

当检测到所述页面数据发生变化时，通过所述页面收集插件采集第一页面状态数据；关闭所述页面收集插件的监听端口；

当检测到用户触发的操作事件时，获取所述操作事件对应的操作页面数据，将所述操作页面数据与所述第一页面状态数据进行比对；

若所述操作页面数据与所述第一页面状态数据不一致，调用页面收集插件收集所述页面操作数据对应的第二页面状态数据；

将所述第一页面状态数据和所述第二页面状态数据根据所述页面标识上传至运维服务器，使得所述运维服务器根据页面状态数据对所述页面数据进行分析。

在其中一个实施例中，所述通过所述页面收集插件采集第一页面状态数据的步骤包括：通过所述页面收集插件读取所述页面数据的文档结构数据；根据所述访问请求对所述文档结构数据和相应的元素节点进行遍历采集，并对所述文档结构数据添加第一读取标签；所述第一读取标签包括多个元素属性；获取所述页面数据的初始元素标签，根据多个元素属性将所述第一读取标签与所述初始元素标签进行比对；当所述第一读取标签与所述初始元素标签不一致时，则确定所述页面数据存在变化，并根据所述第一读取标签生成第一页面状态数据。

在其中一个实施例中，所述将所述页面操作数据与所述第一页面状态数据进行比对的步骤包括：检测所述操作事件的事件类型，获取所述操作页面数据的操作页面标识；将所述页面数据的页面标识与所述操作页面数据的操作页面标识进行比对；当所述事件类型为动态事件，且所述页面标识与所述操作页面标识不一致时，确定所述页面数据存在变化。