[发明专利]数据质量监控方法、装置、电子设备及存储介质

说明书

本公开实施例公开了一种数据质量监控方法、装置、电子设备及存储介质，其中，方法包括：获取任务执行信息；对任务执行信息进行编码处理，得到离线指标健康度，离线指标健康度用于衡量离线数据同步任务是否存在异常；基于同期的实时数据和离线数据，计算实时数据仓库输出数据的指标准确度；基于实时数据，计算实时数据仓库输出数据的预测信息，预测信息用于指示实时数据仓库中数据指标的下一时间序列；将离线指标健康度、实时数据仓库输出数据的指标准确度和预测信息进行可视化处理并展示。本公开实施例可以有效监控数据仓库的数据质量和预知数据风险，并且通过可视化展示数据质量，有利于开发人员及时了解并解决问题。

技术领域

本公开涉及数据处理技术领域，尤其涉及一种数据质量监控方法、装置、电子设备及存储介质。

背景技术

互联网技术的迅猛发展，带给企业很多的数据资产，以房产交易为例，在整个房产交易过程中涉及诸如客户信息报备、带看房源、认购、签约、汇款、结清等多个交易节点，因此对应会产生很多房产交易数据，交易数据分为离线数据和实时数据，分别存储在离线数据仓库和实时数据仓库中。

离线数据仓库和实时数据仓库的存储方式和操作支持方式均不相同，导致实时数据仓库的指标不一定与离线数据仓库的指标一致，存在质量风险，因此需要监控实时数据仓库的准确性。相关技术中，数据监控方案可在程序研发过程中对节点、容器、数据库进行数值监控以发现问题并报警，然而由于报警通常通过日志或者异常详情等方式呈现，因此可读性较差，业务人员无法感知并理解，并且相关技术的数据监控方案，例如FAST，只能对现有问题进行发现(例如发现数据库当前存在空值)，但是不具备预知问题发生的能力，因此不能在数据问题发生之前将其解决，降低了用户的体验。

发明内容

本公开实施例所要解决的一个技术问题是：提供一种数据质量监控方法、装置、电子设备及存储介质。

根据本公开实施例的一个方面，提供一种数据质量监控方法，包括：

获取任务执行信息，所述任务执行信息用于指示离线数据同步任务的执行结果；

对所述任务执行信息进行编码处理，得到离线指标健康度，所述离线指标健康度用于衡量离线数据同步任务是否存在异常；

基于同期的实时数据和离线数据，计算实时数据仓库输出数据的指标准确度；基于实时数据，计算实时数据仓库输出数据的预测信息，所述指标准确度用于指示所述同期的实时数据的数据指标和离线数据的数据指标的取值比率，所述预测信息用于指示实时数据仓库中数据指标的下一时间序列；

将所述离线指标健康度、所述实时数据仓库输出数据的指标准确度和预测信息进行可视化处理并展示。

在本公开一实施方式中，所述基于同期的实时数据和离线数据，计算实时数据仓库输出数据的指标准确度，包括：

对所述离线数据仓库和所述实时数据仓库中的同期数据进行抽取-转换-加载ETL处理，所述同期数据用于指示生成时间段相同的数据；

基于ETL处理得到的结果，计算每一项数据指标在离线数据仓库的值，得到离线数据的数据模块向量；

计算每一项数据指标在实时数据仓库的值，得到实时数据的数据模块向量；

对所述离线数据的数据模块向量和所述实时数据的数据模块向量进行统计学习，得到所述指标准确度。

在本公开又一实施方式中，所述对所述离线数据的数据模块向量和所述实时数据的数据模块向量进行统计学习，得到所述指标准确度之后，还包括：

若所述指标准确度小于设定准确度阈值，则进行报警处理。

在本公开又一实施方式中，所述基于实时数据，计算实时数据仓库输出数据的预测信息，包括：

对所述实时数据仓库中的数据进行ETL处理；