[发明专利]定位异常数据的异常起源的方法和装置

说明书

本发明公开了一种定位异常数据的异常起源的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：把叶节点的数据与相应预处理层节点的数据作比较，当某个预处理层节点与其对应的叶节点不一致，则确定该预处理层节点为异常起源并返回；当异常数据不大于基准值，则检查除预处理层节点之外的各中间节点的完整情况，当某个中间节点不完整，则确定该中间节点为异常起源并返回；检查除预处理层节点之外的各中间节点的口径与异常数据的标准口径是否一致，若某个中间节点的口径与异常数据的口径不一致，则确定该中间节点为异常起源并返回。该实施方式能够有效规避人为误差，降低对数据异常处理者的要求并且快速高效。

技术领域

本发明涉及计算机技术领域，尤其涉及一种定位异常数据的异常起源的方法和装置。

背景技术

数据仓库是为了便于多维分析和多角度展现而将数据按特定的模式进行存储所建立起来的关系型数据库，它用于支持企业或组织的决策分析处理。

对于数据仓库出现的数据异常的原因的判断，目前唯一的处理方法是全人工的对数据仓库进行排查，当数据仓库下游反馈数据有问题后，工程师开始从数据仓库的前端应用到底层数据源一层一层往下排查，找到一个问题点处理一个，然后再重跑，或者将所有问题点找出来统一处理，然后再重跑。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：现有的对于数据仓库的数据异常的原因的判断方法，由纯人工进行，如果遇到不规范的脚本(例如脚本全文注释寥寥)就会对判断和处理工作增加难度和成本，人力成本高、人为误差可能性高且速度较慢。并且整个过程对于排查问题的人要求较高，要求其对问题数据的来源、底层加工逻辑以及业务知识相当熟知，否则会浪费很多时间，导致工作效率大大降低，甚至找错方向、徒劳无功。

因此，亟需一种快速高效，能够有效规避人为误差，降低对数据异常处理者的要求的定位异常数据的异常起源的方法和装置。

发明内容

有鉴于此，本发明实施例提供一种定位异常数据的异常起源的方法和装置，能够有效规避人为误差，降低对数据异常处理者的要求并且快速高效。

为实现上述目的，根据本发明实施例的一个方面，提供了一种定位异常数据的异常起源的方法，所述异常数据对应逻辑关系树，所述逻辑关系树的根节点是该异常数据，叶节点是数据源的数据表，中间节点是该异常数据产生过程中涉及的中间数据表，

所述方法包括：

步骤一，把所述叶节点的数据与相应预处理层节点的数据作比较，所述预处理层节点是对应叶节点的数据源经预处理后生成的中间节点，其中，当某个预处理层节点与其对应的叶节点不一致，则确定该预处理层节点为异常起源并返回，否则执行步骤二；

步骤二，判断所述异常数据是否大于对应的基准值，当所述异常数据不大于所述基准值，则检查除所述预处理层节点之外的各中间节点的完整情况，否则执行步骤三，其中，当某个中间节点不完整，则确定该中间节点为异常起源并返回，否则执行步骤三；

步骤三，检查除所述预处理层节点之外的各中间节点的口径与所述异常数据的标准口径是否一致，若某个中间节点的口径与所述异常数据的口径不一致，则确定该中间节点为异常起源并返回。

可选的，所述逻辑关系树是把所述异常数据对应的原始的业务逻辑关系树中的与定位异常起源无关的部分剪去获得的。

进一步的，本发明实施例提供的定位异常数据的异常起源的方法还包括：输出所述确定的异常起源的清单。

进一步的，把所述叶节点的数据与相应预处理层节点的数据作比较包括：

基于所述逻辑关系树获得所述异常数据与其产生过程中涉及的所述预处理层节点的直接映射关系树；

把所述直接映射关系树中的预处理层节点的数据与其对应的所述叶节点的数据作比较。