[发明专利]一种基于EPDM数据模型的数据质检系统和方法

说明书

一种基于EPDM数据模型的数据质检系统和方法，在数据质量建模模块中构建数据质检所需的质检模型，并对质检任务、质检项目和质检规则进行定义；通过数据质量诊断模块对实际工作中的实际数据设定特定的质检规则和校验参数，得到相应的质检结果；通过数据质量评估模块得到实际数据的质量评估结果；通过数据质量管理，实现对信息生产数据的质检、诊断、评估、监控，提高了数据质量，实现数据的真正价值。

技术领域

本发明涉及数据质检领域，尤其涉及一种基于EPDM数据模型的数据质检系统和方法。

背景技术

随着IT技术的快速发展，信息化建设和应用的逐渐深入，对数据的快速大量分析是有效开展生产管理、专业研究和辅助决策分析的依据。而只有数据的规范、准确、一致、完整才能全方位提高油田数据质量，为生产运行服务；

目前油气田产生大量数据，无法对基于EPDM数据进行质检，缺乏有效的监控手段和量化考核措施，新数据加载的及时性和完整性得不到保障，造成公司的数据资产得不到有效保护。为了更好提高采油厂日报、月报的数据质量，建立完善的数据质量管理控制流程，提高数据采集、数据质检、数据监督管理的效率和数据质量，解决大数据量校验、复杂数据校验、基于EPDM模型多数据源校验问题，数据质检系统的建设将为数据质量提供保障。

发明内容

本发明的目的在于提供一种基于EPDM数据模型的数据质检系统和方法，从而解决现有技术中存在的前述问题。

为了实现上述目的，本发明采用的技术方案如下：

一种基于EPDM数据模型的数据质检系统，包括数据质量建模模块、数据质量诊断模块和数据质量评估模块；

所述数据质量建模模块与关系型数据库之间通过数据链路进行连接，通过所述数据链路，将所述关系型数据库中的信息导入所述数据质量建模模块中，构建数据质检模型，并定义数据质检规则；

所述数据质量诊断模块的输入端与所述数据质量建模模块的输出端相连，根据实际工作中的业务需求创建具体的质检项目；基于所述数据质检模型中的实体对象的基础信息，根据所述质检项目的业务需求，制定相应的质检条件；根据所述质检条件对实际数据进行质检，得出相应的质检结果；

所述数据质量评估模块的输入端与所述数据质量诊断模块的输出端相连，根据实际工作中的业务需求制定数据质量指标和评估规则，根据所述数据质量指标和所述评估规则对所述质检结果进行评估，得出相应的评估结果。

优选的，还包括数据运行监控模块，所述数据运行监控模块与所述关系型数据库、所述数据质量建模模块、所述数据质量诊断模块和所述数据质量评估模块分别相连，对数据的运行过程进行实时跟踪监控。

优选的，所述数据质检模型包括数据字典模型、数据实体模型和计算描述模型；所述数据字典模型根据所述关系型数据库中的业务表模型字段以及业务表模型之间的关系字段进行构建；所述数据实体模型基于所述数据字典模型结合所述关系型数据库中的业务表模型进行构建；所述计算描述模型针对不同的数据设置不同的质检条件和条件参数。

优选的，所述数据质检模型中数据质检规则对质检任务、质检项目和质量评估维度进行定义；所述质检任务为结合特定的业务需要，对质检项目在特定的时间节点或固定的时间周期内执行的数据质检任务；所述质检任务根据业务的功能节点，可以划分为不同的质检项目；所述质检项目下的实际数据根据不同业务数据的质量要求结合所述质量评估维度实现数据质检。

优选的，所述质量评估维度包括规范性、正确性、唯一性、一致性、完整性和及时性。

一种基于EPDM数据模型的数据质检方法，包括以下步骤：

S1、在业务型数据库获取业务表模型的字段信息和结构信息，构建数据字典模型；

S2、将所述业务型数据库中的业务表模型映射至所述数据字典模型中，形成数据实体模型；