[发明专利]一种基于EPDM数据模型的数据质检系统和方法

权利要求书

1.一种基于EPDM数据模型的数据质检系统，其特征在于，包括数据质量建模模块、数据质量诊断模块和数据质量评估模块；

所述数据质量建模模块与关系型数据库之间通过数据链路进行连接，通过所述数据链路，将所述关系型数据库中的信息导入所述数据质量建模模块中，构建数据质检模型，并定义数据质检规则；

所述数据质量诊断模块的输入端与所述数据质量建模模块的输出端相连，根据实际工作中的业务需求创建具体的质检项目；基于所述数据质检模型中的实体对象的基础信息，根据所述质检项目的业务需求，制定相应的质检条件；根据所述质检条件对实际数据进行质检，得出相应的质检结果；

所述数据质量评估模块的输入端与所述数据质量诊断模块的输出端相连，根据实际工作中的业务需求制定数据质量指标和评估规则，根据所述数据质量指标和所述评估规则对所述质检结果进行评估，得出相应的评估结果。

2.根据权利要求1所述的基于EPDM数据模型的数据质检系统，其特征在于，还包括数据运行监控模块，所述数据运行监控模块与所述关系型数据库、所述数据质量建模模块、所述数据质量诊断模块和所述数据质量评估模块分别相连，对数据的运行过程进行实时跟踪监控。

3.根据权利要求1所述的基于EPDM数据类型的数据质检系统，其特征在于，所述数据质检模型包括数据字典模型、数据实体模型和计算描述模型；所述数据字典模型根据所述关系型数据库中的业务表模型字段以及业务表模型之间的关系字段进行构建；所述数据实体模型基于所述数据字典模型结合所述关系型数据库中的业务表模型进行构建；所述计算描述模型针对不同的数据设置不同的质检条件和条件参数。

4.根据权利要求1所述的基于EPDM数据类型的数据质检系统，其特征在于，所述数据质检模型中数据质检规则对质检任务、质检项目和质量评估维度进行定义；所述质检任务为结合特定的业务需要，对质检项目在特定的时间节点或固定的时间周期内执行的数据质检任务；所述质检任务根据业务的功能节点，可以划分为不同的质检项目；所述质检项目下的实际数据根据不同业务数据的质量要求结合所述质量评估维度实现数据质检。

5.根据权利要求4所述的基于EPDM数据类型的数据质检系统，其特征在于，所述质量评估维度包括规范性、正确性、唯一性、一致性、完整性和及时性。

6.一种基于EPDM数据模型的数据质检方法，其特征在于，包括以下步骤：

S1、在业务型数据库获取业务表模型的字段信息和结构信息，构建数据字典模型；

S2、将所述业务型数据库中的业务表模型映射至所述数据字典模型中，形成数据实体模型；

S3、根据所述数据实体模型中关联实体与相关的关系属性之间的关联信息，创建各质检规则的计算描述模型；

S4、根据实际工作中的业务需求，创建需要进行的质检任务，并根据业务功能节点划分为不同的质检项目；

S5、针对每一项质检项目中的实体数据，设定需要执行的校验参数，并将所述校验参数输入至步骤S2和S3所述的数据实体模型和计算描述模型中，对所述质检项目中的实体数据进行质检，生成针对所述质检项目的质检报告；

S6、针对所述数据质量诊断模型中创建的质检任务，根据实际工作中的业务需求制定数据质量指标和评估规则，计算所述质检任务中每一个实际数据的满足对应的质检规则的百分比得分，得到实际数据的质量评估结果。

7.根据权利要求6所述的EPDM数据模型的数据质检方法，其特征在于，所述数据字典模型中通过数据字典管理和展现数据库的元数据。

8.根据权利要求6所述的EPDM数据模型的数据质检方法，其特征在于，所述数据实体模型包括实体数据的基本信息、属性信息以及实体的关系属性和关联实体之间的关系。