[发明专利]一种进行业务数据质量检核的方法和系统

权利要求书

1.一种进行业务数据质量检核的方法，其特征在于，包括以下步骤：

S1 定义业务数据标准，并定义所述业务数据标准对应的质量要求，以此获得相应的标准集合；

S2 依据业务数据标准对应的质量要求，定义数据质量检核方法和模型，以此获得相应的数据质量检核规则集合；

S3 获取待质量检核的业务源数据，并配置应用数据质量检核规则和检核方法，形成业务数据质量检核方案集合；

S4 对业务数据检核方案进行配置执行，以此获得业务数据质量问题数据列表。

2.根据权利要求1所述的进行业务数据质量检核的方法，其特征在于，所述步骤S1具体包括：

S101 对业务数据标准分类进行定义，获取业务数据标准的分类集合；

S102 根据步骤S101中定义的业务数据标准分类定义业务数据标准，形成数据标准的唯一编号和业务属性集合，所述业务属性包括标准中文名称、业务数据定义和业务规则；

S103 依据定义的业务属性集合，定义数据标准的技术属性集合，所述技术属性包括数据标准的数据类型、值域、代码编码规则、数据格式和计量单位；

S104 对定义的数据标准，进行数据查重处理校验，以此获得相应的数据标准集合。

3.根据权利要求2所述的进行业务数据质量检核的方法，其特征在于，所述步骤S2具体包括：

S201 根据步骤S1所述业务数据标准中的业务数据定义和业务规则，从数据质量的规范性、完整性、唯一性和一致性方面，定义数据质量检核的规则方法标准库；

S202 根据所述业务数据标准中的数据类型为代码值类的，定义元数据代码值域的数据质量规则方法标准库；

S203 依据数据质量检核的规则方法标准库和元数据代码值域的数据质量规则方法标准库，生成业务数据质量检核模型。

4.根据权利要求3所述的进行业务数据质量检核的方法，其特征在于，所述步骤S3具体包括：

S301 获取待质量检核的业务源数据的类型，与数据标准集合进行对照映射，生成业务数据质量检核的字段列表集合；

S302 根据业务数据对照映射结果和数据质量检核模型，选择数据的规范性、完整性、唯一性和一致性检核规则和检核方法；

S303 依据选择的检核规则和检核方法，生成业务数据质量检核方案。

5.根据权利要求4所述的进行业务数据质量检核的方法，其特征在于，所述步骤S4具体包括：

S401 获取已定义的数据质量检核方案，配置方案检测时间计划；

S402 依据定义的数据质量检核方案的检测时间计划，自动执行业务数据检核；

S403 按照业务数据项自动生成存在质量问题的数据列表和数据检核报告，进行业务数据质量的持续提升。

6.一种进行业务数据质量检核的系统，其特征在于，包括：

数据标准管理模块，用于定义业务数据标准和质量要求的数据集合；

检核模型和检核规则配置模块，用于对所述数据标准管理模块定义的数据标准和数据质量要求，进行定义数据检核模型，以此获得数据质量检核的规则方法标准库；

数据适配和数据采集获取模块，用于对源系统进行配置，自动化采集源系统的业务数据集合；

数据检核和质量报告生成模块，用于通过所述检核模型和检核规则配置模块配置数据检核方案，并对所述数据适配和数据采集获取模块采集的源系统数据进行定时轮询的质量检核，以此获得数据质量报告。

7.根据权利要求6所述的进行业务数据质量检核的系统，其特征在于，所述数据标准管理模块包括：

数据标准子模块，用于管理标准分类信息和数据标准信息，以此确定数据标准的唯一编号、业务属性和技术属性，形成数据标准集合；

维度值子模块，用于代码维度分类和代码值域的管理，以此确定代码标准的内容，形成维度值集合。