[发明专利]数据质量监控方法、装置、电子设备及存储介质

权利要求书

1.一种数据质量监控方法，其特征在于，所述方法包括：

获取任务执行信息，所述任务执行信息用于指示离线数据同步任务的执行结果；

对所述任务执行信息进行编码处理，得到离线指标健康度，所述离线指标健康度用于衡量离线数据同步任务是否存在异常；

基于同期的实时数据和离线数据，计算实时数据仓库输出数据的指标准确度；基于实时数据，计算实时数据仓库输出数据的预测信息，所述指标准确度用于指示所述同期的实时数据的数据指标和离线数据的数据指标的取值比率，所述预测信息用于指示实时数据仓库中数据指标的下一时间序列；

将所述离线指标健康度、所述实时数据仓库输出数据的指标准确度和预测信息进行可视化处理并展示；

所述基于同期的实时数据和离线数据，计算实时数据仓库输出数据的指标准确度，包括：

对离线数据仓库和所述实时数据仓库中的同期数据进行抽取-转换-加载ETL处理，所述同期数据用于指示生成时间段相同的数据，其中，在发生删除操作时，所述实时数据仓库中存在已经删除的订单数据，所述离线数据仓库中不记录已经删除的订单数据，所述实时数据仓库中的数据与所述离线数据仓库中的数据的值存在并不一致的情况；

基于ETL处理得到的结果，计算每一项数据指标在离线数据仓库的值，得到离线数据的数据模块向量；

计算每一项数据指标在实时数据仓库的值，得到实时数据的数据模块向量；

对所述离线数据的数据模块向量和所述实时数据的数据模块向量进行统计学习，得到所述指标准确度。

2.根据权利要求1所述的方法，其特征在于，所述对所述离线数据的数据模块向量和所述实时数据的数据模块向量进行统计学习，得到所述指标准确度之后，还包括：

若所述指标准确度小于设定准确度阈值，则进行报警处理。

3.根据权利要求1所述的方法，其特征在于，所述基于实时数据，计算实时数据仓库输出数据的预测信息，包括：

对所述实时数据仓库中的数据进行ETL处理；

基于ETL处理得到的结果，确定实时数据指标对应的已有时间序列，所述已有时间序列用于指示同一实时数据指标的数值按其发生的时间先后顺序排列而成的数列；

基于所述已有时间序列，使用设定回归算法计算所述实时数据仓库输出数据指标的下一时间序列，所述下一时间序列为预测信息。

4.根据权利要求1所述的方法，其特征在于，所述获取任务执行信息，包括：

使用爬虫工具，按照设定时间定时获取所述任务执行信息。

5.根据权利要求1所述的方法，其特征在于，所述将所述离线指标健康度进行可视化处理并展示，包括：

将所述离线指标健康度生成数据维度表；

基于所述数据维度表中记录的离线指标健康度，确定每一项数据指标的离线指标健康度，得到健康度分布信息；

将所述健康度分布信息以可视化方式进行展示。

6.根据权利要求1所述的方法，其特征在于，所述对所述任务执行信息进行编码处理之后，还包括：

若离线数据同步任务存在异常，进行报警处理。