[发明专利]一种数据计算流程中的数据核对方法、系统及存储介质

说明书

本发明公开了一种数据计算流程中的数据核对方法、系统及存储介质，涉及数据仓库领域，包括以下步骤：获取指定层级的数仓数据；从数仓数据中识别出若干重要表，确定出存在异常波动的重要表，基于预设的字段属性、表属性与异常级别之间的对应关系，确定每个存在异常波动的重要表的异常级别；根据每个异常级别以及对应的重要表分别生成异常通知并发送；判断所有异常级别的权重是否均低于预设权重，若是，则执行当前指定层级的数据运算；若不是，则暂停当前指定层级的数据运算。在发现具有异常波动且对于后续数据计算存在较大影响的数据时，会暂停数据运算并通知工作人员，有利于提高数据计算结果的准确性以及数据计算过程中的稳定性。

技术领域

本发明涉及数据仓库的技术领域，尤其是涉及一种数据计算流程中的数据核对方法、系统及存储介质。

背景技术

数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。数据仓库包括原始数据层（ODS）、数据明细层（DWD）、数据汇总层（DWS）和数据应用层（ADS）。且这些层级是按照ODS-DWD-DWS-ADS的顺序依次形成的，除了原始数据层是直接接入原始数据且基本不会对原始数据进行处理外，其余层都是在前一层的基础上对数据做了一定的处理后生成的。

数据仓库一般是通过数据应用层（ADS）的宽表来与其他数据库进行导入对接，以满足查询、检索等业务需求。而由于大数据数仓计算具有数据量大、计算节点多、计算流程长、数据处理逻辑复杂等特点，因此在数据计算过程中不可避免的会偶尔出现各种各样的异常情况导致ads应用层级据不准确对业务系统造成影响，导致数据质量不高，从而影响业务流程或者用户体验。

因此有必要对对数据计算结果的准确性及数据计算过程的稳定性进行保障。

发明内容

为了提高数据计算结果的准确性以及数据计算过程中的稳定性，本申请提供一种数据计算流程中的数据核对方法、系统及存储介质。

第一方面，本申请提供一种数据计算流程中的数据核对方法，采用如下的技术方案：

一种数据计算流程中的数据核对方法，包括以下步骤：

获取指定层级的数仓数据；

从数仓数据中识别出若干重要表，

分别对每个重要表所对应的表属性和/或字段属性进行检验以确定出存在异常波动的重要表，

基于预设的字段属性、表属性与异常级别之间的对应关系，确定每个存在异常波动的重要表的异常级别；

根据每个异常级别以及对应的重要表分别生成异常通知并发送；

判断所有异常级别的权重是否均低于预设权重，

若是，则执行当前指定层级的数据运算；

若不是，则暂停当前指定层级的数据运算。

通过上述技术方案，可实现对每个层级的数据的单独核对，并在发现具有异常波动且对于后续数据计算存在较大影响的数据时，会暂停数据运算并通知工作人员，有利于提高数据计算结果的准确性以及数据计算过程中的稳定性。

可选的，所述字段属性包括非空字段，所述分别对每个重要表所对应的表属性和/或字段属性进行检验以确定出存在异常波动的重要表，包括以下步骤：

获取重要表中的非空字段，并分别判断每个非空字段是否为空值，任意一个非空字段为空值，则确定对应的重要表存在异常波动。

可选的，所述表属性包括可空字段，所述分别对每个重要表所对应的表属性和/或字段属性进行检验以确定出存在异常波动的重要表，包括以下步骤：

获取重要表中的可空字段，计算每类可空字段的当前空值率，并从预设数据库中匹配出可空字段所对应的历史空值率；

根据历史空值率和预设的允许波动值确定阈值；

判断当前空值率是否超过对应的阈值，

若是，则确定对应的重要表存在异常波动。