[发明专利]一种数据核查方法和数据核查装置

说明书

技术领域

本发明涉及数据分析技术领域，具体涉及一种数据核查方法和数据核查 装置。

背景技术

随着企业信息化建设的全面展开，企业对数据的依赖程度也在加大，数 据质量的好坏直接关系到信息的准确程度，也影响了企业的生存和竞争能力。 然而，企业系统的数据仓库的数据来自于多个数据源，而系统中对数据的清 洗、抽取、加载、汇聚等数据处理是一个数据量庞大而且复杂的过程，其中 涉及很多业务相关的算法等，所以，对数据的核查是一件很困难并且非常耗 时的工作。目前大部分企业系统数据核查工作的方案是：发现问题后，需要 熟悉业务和经验丰富的人员去进行核查，甚至有时会专门专业安排核查人员 去做这些核查工作以保证数据核查的可靠性。并且通常发现数据出现问题进 行核查时都需要编写复杂的数据库查询语句从上到下一层一层地查询很多张 数据库表，并根据算法对照每一个数据来最终定位问题，这种方式不仅难度 很大而且很容易由于人为原因而出错。

总之，现有的数据核查方案存在以下问题：1、数据核查结果不可靠；2、 数据核查工作难度大；3、数据核查过程不直观；4、对数据核查人员的专业 能力要求高。

发明内容

本发明提供了一种数据核查方法和数据核查装置，以解决现有的数据核 查方案存在的结果不可靠、难度大、过程不直观以及对数据核查人员的专业 能力要求高的问题。

为达到上述目的，本发明的技术方案是这样实现的：

根据本发明的一个方面，提供了一种数据核查方法，该方法包括：

统一存储系统中的所有元数据；

根据统一存储的所有元数据之间的相互关系生成关系元数据；关系元数 据至少包括如下信息：关系类型信息、源端元数据信息和目标端元数据信息；

利用关系元数据以及统一存储的所有的元数据对待核查数据进行血统分 析，生成待核查数据的血统分析页面；

在血统分析页面上进行数据核查。

可选地，在血统分析页面上进行数据核查包括：

为血统分析页面上的某一个或多个关键元数据节点配置业务规则，判断 配置了业务规则的节点是否符合已配置的业务规则，如果不符合，则在血统 分析页面上进行告警提示，并启动血统分析溯源。

可选地，利用关系元数据以及统一存储的所有的元数据对待核查数据进 行血统分析包括：

根据关系元数据，逐层级查找待核查数据的来源；

若待核查数据的来源是一个或者多个接口元数据，则停止查找，并生成 记录待核查数据与接口元数据之间来源关系的血统分析页面；

若待核查数据的来源是字段元数据，则进一步查找该字段元数据的来源， 直至找到作为字段元数据的来源的接口元数据；并生成记录待核查数据与字 段元数据、接口元数据之间来源关系的血统分析页面；

若待核查数据的来源是由多个字段元数据根据数据处理元数据进行数据 处理后得到的数据，则分别查找多个字段元数据的来源，直至找到每个字段 元数据的接口元数据，并生成记录待核查数据与多个字段元数据、数据处理 元数据、接口元数据之间来源关系的血统分析页面。

可选地，统一存储系统中所有的元数据包括：

创建一个存储元数据的数据库，并建立相应元数据的模型；

通过导入或者配置的方式把系统中所有的元数据保存到该数据库里。

可选地，为血统分析页面上的某一个或多个关键元数据节点配置业务规 则包括：

在将系统中所有的元数据导入数据库时配置业务规则，或者在对待核查 数据进行核查时在血统分析页面上动态配置业务规则。

根据本发明的另一个方面，还提供了一种数据核查装置，该装置包括： 元数据存储单元、关系元数据生成单元，血统分析页面生成单元和数据核查 单元；

元数据存储单元，用于统一存储系统中所有的元数据；

关系元数据生成单元，用于根据元数据存储单元统一存储的所有的元数 据之间的相互关系生成关系元数据；关系元数据至少包括信息：关系类型信 息、源端元数据信息和目标端元数据信息；

血统分析页面生成单元，用于利用关系元数据以及统一存储的所有的元 数据对待核查数据进行血统分析，生成待核查数据的血统分析页面；

数据核查单元，用于在血统分析页面生成单元的血统分析页面上进行数 据核查。