[发明专利]数据监控方法、装置和电子设备

说明书

本发明的实施例提供了一种数据监控方法、装置和电子设备，涉及数据处理技术领域。在对目标时刻全链路的数据调度任务进行解析，得到每个数据调度任务在目标时刻写入到对应数据表中的监控项目的数据信息后，针对每个数据表中的每个监控项目，将该监控项目在目标时刻的数据信息输入到预先训练得到的数据质量评估模型中，得到该监控项目在目标时刻的分值，判断该监控项目在目标时刻的分值是否小于预设阈值，在小于预设阈值时，对该监控项目进行告警，如此，通过对数据表的每个监控项目进行监控，使得用户对数据表的数据质量有着更全面的感知和理解，在监控项目的数据出现质量问题时，可以准确定位到出现问题的监控项目。

技术领域

本发明涉及数据处理技术领域，具体而言，涉及一种数据监控方法、装置和电子设备。

背景技术

随着线上业务的增多，需要监控的数据项目越来越多，导致用户对当前业务的数据质量没有一个全局的把握和感知，进而当数据存在质量问题时，不能准确定位到数据问题，严重影响各个业务线的正常决策和运行。

发明内容

基于上述研究，本发明提供了一种数据监控方法、装置和电子设备，以改善上述问题。

本发明的实施例可以这样实现：

第一方面，本发明提供一种数据监控方法，所述方法包括：

对目标时刻全链路的数据调度任务进行解析，得到每个所述数据调度任务在所述目标时刻写入到对应数据表中的监控项目的数据信息；其中，每个所述数据调度任务对应一个数据表，每个所述数据表中包括至少一个监控项目；

针对每个所述数据表中的每个所述监控项目，将该监控项目在所述目标时刻的数据信息输入到预先训练得到的数据质量评估模型中，得到该监控项目在所述目标时刻的分值；

判断该监控项目在所述目标时刻的分值是否小于预设阈值；

若小于所述预设阈值，对该监控项目进行告警。

在可选的实施方式中，所述数据质量评估模型包括至少一个时序预测算法，所述将该监控项目在所述目标时刻的数据信息输入到预先训练得到的数据质量评估模型中，得到该监控项目在所述目标时刻的分值的步骤包括：

将该监控项目在所述目标时刻的数据信息输入到各所述时序预测算法中，得到各所述时序预测算法在所述目标时刻对该监控项目的评分；

根据各所述时序预测算法在所述目标时刻对该监控项目的评分以及各所述时序预测算法的权重，计算得到该监控项目在所述目标时刻的分值。

在可选的实施方式中，所述根据各所述时序预测算法在所述目标时刻对该监控项目的评分以及各所述时序预测算法的权重，计算得到该监控项目在所述目标时刻的分值的步骤包括：

通过以下公式计算得到监控项目的分值：

S＝αf₁(x；θ₁)+βf₂(x；θ₂)+…+γf_n(x；θ_n)

其中，f₁、f₂、f_n为各个时序预测算法对监控项目的评分；α、β、γ为各个时序预测算法的权重；θ₁、θ₂、θ_n为各个时序预测算法的参数，x为监控项目的数据信息。

在可选的实施方式中，各所述监控项目对应设置有至少一个置信区间，各所述置信区间对应设置有不同的分数；所述将该监控项目在所述目标时刻的数据信息输入到各所述时序预测算法中，得到各所述时序预测算法在所述目标时刻对该监控项目的评分的步骤包括：

将该监控项目在所述目标时刻的数据信息输入到各所述时序预测算法中，得到该监控项目在所述目标时刻的数据信息所在的置信区间；