[发明专利]一种数据质量监控方法、装置、电子设备及存储介质

说明书

本申请中一个或多个实施例提供一种数据质量监控方法、装置、电子设备及存储介质，包括：获取业务数据表；对比业务数据表以确定错误数据表；根据预设时间定期扫描错误数据表以生成数据质量监控报告。本申请采用由宽表的数据和指标表的数据组成的业务数据表进行数据对比的方式，来确定比对结果不一致的错误数据表，定期在集群中自动运行调度并扫描错误数据表，从而生成数据质量监控报告，实现对业务数据表中的海量数据进行数据质量监控的目的，在解决了海量数据质量问题的同时，还能够提升数据对比的效率，在数据量达到一定级别后，依然有足够快的处理速度，对服务器的性能要求较低，满足更广泛的应用场景。

技术领域

本申请中一个或多个实施例涉及数据监控技术领域，尤其涉及一种数据质量监控方法、装置、电子设备及存储介质。

背景技术

现有技术中，实现数据质量监控的方案，主要采用传统关系型数据库方式，例如Oracle和MySql的架构，虽然能够解决海量数据的存储，但在海量数据的质量监控以及汇总方面支持有限，基于传统数据库数据质量监控的架构，倾向于数据存储以及复杂的查询，传统数据库虽然能够搭建集群，但是当数据量达到一定的级别之后，会造成查询和处理速度慢，且对服务器的性能要求过高的问题。

发明内容

有鉴于此，本申请中一个或多个实施例的目的在于提出一种数据质量监控方法、装置、电子设备及存储介质，以解决现有技术存在的上述至少一个问题。

基于上述目的，本申请中一个或多个实施例提供了一种数据质量监控方法，包括：

获取业务数据表；

对比所述业务数据表以确定错误数据表；

根据预设时间定期扫描所述错误数据表以生成数据质量监控报告。

可选的，所述业务数据表，包括：宽表和指标表；所述指标表是利用业务规则对所述宽表进行计算确定的；

所述对比所述业务数据表以确定错误数据表，具体包括：

对比所述宽表中的数据和所述指标表中的数据以确定差异数据；

根据所述差异数据确定所述错误数据表。

可选的，所述差异数据，包括：第一差异数据；

所述对比所述宽表中的数据和所述指标表中的数据以确定差异数据，具体包括：

获取业务等级；

根据所述业务等级分别从所述宽表和所述指标表中获取第一比较字段的基础信息和第二比较字段的基础信息；

比较所述第一比较字段的基础信息和所述第二比较字段的基础信息以确定所述第一差异数据。

可选的，所述差异数据，包括：第二差异数据；

利用标识分别关联所述宽表和所述指标表；

根据所述标识分别从所述宽表和所述指标表中获取第一无逻辑加工数据和第二无逻辑加工数据；

比较所述第一无逻辑加工数据和所述第二无逻辑加工数据以确定所述第二差异数据。

可选的，所述差异数据，包括：第三差异数据；

利用所述业务规则加工所述宽表以获取验证表；

比较所述验证表和所述指标表以确定所述第三差异数据。

可选的，所述根据预设时间定期扫描所述错误数据表以生成数据质量监控报告，具体包括：

根据所述预设时间定期扫描所述错误数据表以确定所述错误数据表中错误数据的数量；

判断所述错误数据的数量是否达到预设阈值；