[发明专利]企业级数据中心的元数据质量稽核系统、方法及平台

说明书

技术领域

本发明属于数据校验应用领域，涉及对稽核的数据资源统一管理，具体涉及一种企业级数据中心的元数据质量稽核系统、稽核方法及稽核平台。

背景技术

为提高数据资产的管理应用水平，发挥数据资产的潜在价值，在数据中心建设和企业数据模型建设的基础上，必须通过制定一套元数据管理控制规范，并进行不断优化，从初步构建元数据管理控制规范和平台开始，向元数据管理自动化推进，最终实现数据资产管理和使用标准化，最大限度的发挥数据资产的价值。

由于国内信息化起步晚，加之数据质量管控也是近些年才越来越多地得到企业的关注，总体上看产品的成熟度不足，国内案例较少。但拥有数据质量管控的强大优势却是不容忽视的。

发明内容

本发明公开了一种企业级数据中心元数据质量稽核系统，包括：

任务定义模块，配置稽核的数据对象来源，或利用已有的稽核模板，绑定稽核数据对象和模板规则；

运行监控模块，设置实时或者定时的调度方式，任务执行后在稽核结果视图中查看不同层面的稽核结果；

质量分析模块，查看针对数据中心及分析体系应用的从各稽核任务执行结果所产生的质量分析报告。

其中，任务定义模块对数据对象来源数据库的连接进行配置和管理，实现手工文件的导入和数据读取，支持浏览并选择数据库中的数据表及导入的手工数据表作为稽核对象，提供各种类型的稽核模板，通过选择已有模板实现某类型稽核任务的建立，根据配置的规则将规则应用于稽核任务中设置的稽核对象，通过在界面定义一系列新的稽核任务流程实现任务的生成。

其中，运行监控模块能够按照使用者的视角对已有稽核任务进行分类管理和集中浏览，以实时或定时的方式执行数据质量稽核任务，汇总查看稽核任务的执行结果，并查看执行结果的明细信息，能够查看稽核任务执行的日志信息，辅助确定数据质量问题产生的原因。

其中，质量分析模块实现多种总体数据质量报告，洞察信息中心的全局性数据质量，实现所有稽核任务的结果详细报告和分类汇总报告，了解该类问题的质量状况，实现质量报告按照时间维度、校验对象等进行筛选及查看。

本发明还公开了采用上述企业级数据中心元数据质量稽核系统进行元数据质量稽核的方法，包括如下步骤：

1）从任务定义模块配置好稽核的数据对象来源，或利用已有的稽核模板，绑定稽核数据对象和模板规则；

2）从运行监控模块启动稽核，设置实时或者定时的调度方式，任务执行后在稽核结果视图中查看不同层面的稽核结果；

3）质量分析模块查看针对数据中心及分析体系应用的从各稽核任务执行结果所产生的质量分析报告。

其中，步骤1）中任务定义模块实现连接管理、稽核模板、新建稽核、修改稽核四个功能，为运行监控模块提供任务定义、修改的功能；运行监控模块提供稽核时间配置、运行任务和查看结果功能；质量分析模块提供查看稽核实例报告、稽核维度汇总报告、质量健康状况总体报告和数据对象汇总报告这四种质量分析报告。

本发明还公开了一种基于企业级数据中心元数据质量稽核平台，包括展现层、应用层、数据层和源系统层，其中展现层主要描述各类用户访问数据质量稽核平台的方式方法；应用层主要描述各类用户使用数据质量稽核平台的功能界面和输入输出；数据层涵盖了平台所涉及的所有数据；源系统层对应纳入平台管理的各类数据源。 

其中，应用层功能涵盖任务定义、运行监控和质量分析三大核心模块，以及平台基础辅助功能（用户管理、搜索功能）;稽核的基本流程贯通了三大核心模块的功能：先从任务定义模块配置好稽核的数据对象来源，或利用已有的稽核模板，绑定稽核数据对象和模板规则；从运行监控模块启动稽核，最后查看稽核结果；质量分析模块可查看各类汇总报告。

其中，数据层涵盖了平台所涉及的所有数据，包括元数据库、对源系统进行数据质量稽核时的数据缓存区、系统配置信息库、平台的校验规则库、质量稽核执行脚本库、各类质量稽核结果数据以及平台稽核能力所对应的质量报告模板库。

其中，源系统层对应纳入平台管理的各类数据源，主要包括：业务操作系统，如交易系统、营销系统等；数据中心相关系统，如数据抽取平台、数据仓库等；分析应用系统，如三大分析体系等的基础数据或者业务指标数据。 

本发明的应用对于提升数据中心在企业中的作用有着重要的意义。

附图说明

图1为数据质量稽核平台功能架构图。

具体实施方式

企业级数据中心元数据质量稽核方法，其核心是元数据质量稽核规则体系，包括以下两方面共11项。