[发明专利]一种面向电力行业业务系统的数据质量评价方法和设备

说明书

本发明的实施例提供了一种面向电力行业业务系统的数据质量评价方法和设备，所述方法包括通过数据库完整性评价指标值对数据库的完整性进行评价，得到完整性评价结果；通过主外键关系筛选方法对数据库的一致性进行评价，得到一致性评价结果；根据评价结果对数据库进行综合评价。以此方式，可以对数据库的完整性和一致性进行评价，通过不同字段信息比对，对字段间关系进行预判，过滤掉明显不可能存在主外键关系的字段，大幅度减少字段间内容比对的工作量，快速高效的检测出缺失的主外键关系，并且综合整体性和一致性评价结果，对整个数据库的数据质量作出更全面的评价。

技术领域

本发明的实施例一般涉及计算机数据处理领域，并且更具体地，涉及一种面向电力行业业务系统的数据质量评价方法和设备。

背景技术

随着信息技术的发展，数据的规模正在高速增长。在数据量增不断增长的同时，数据中普遍存在质量问题。数据的质量可以用六个特性来刻画，即数据一致性、数据完整性、数据精确性、数据时效性、数据实体同一性和数据不确定性。其中，数据完整性和数据一致性是刻画数据质量的最重要的关键指标。

为了提升系统响应速度与开发效率，越来越多的开发人员选择忽略关系型数据库中的主外键约束。这使得不同表中的相同数据无法及时准确的同步，数据质量显著降低，无法支撑企业级的大数据分析与应用。企业不得不花费大量的时间和精力开展数据治理工作。由于主外键关系的缺失，数据治理工作人员也无法获取表与表之间的关联关系，只能通过与开发人员的沟通和业务的梳理来获取关联关系。这样的方法效率极低，随着数据的增长，这样的方法也难以维系，并且难以对数据治理工作的成效进行量化评估。

对于数据完整性评估方法的研究，关键在于解决关系数据完整性度量问题。现有的数据完整性评估方法大多通过提出抽象的数据完整性度量框架，然后在框架基础上实现函数依赖对数据完整性的影响，并提出具体的关系数据完整性度量指标及体系方案。在当前环境下，对数据完整性研究的重点集中在完整性的定义、保证技术、保证模型及其应用，而对数据完整性评估方法的研究多集中在对数据的校验上，然而这对于数据量巨大的电力行业业务系统来说工作效率极慢。

对于数据库完整性评估存在以下问题：

1)没有量化形式地去评估数据库完整性；

2)随着数据量的快速增长，根据数据库进行完整性评估效率低，开销大；

3)未给出具体的数据库完整性评价方法。

发明内容

根据本发明的实施例，提供了一种面向电力行业业务系统的数据质量评价方案。

在本发明的第一方面，提供了一种面向电力行业业务系统的数据质量评价方法。该方法包括：

通过数据库完整性评价指标值对数据库的完整性进行评价，得到完整性评价结果；

通过主外键关系筛选方法对数据库的一致性进行评价，得到一致性评价结果；

根据完整性评价结果和一致性评价结果对数据库进行综合评价。

进一步地，所述通过数据库完整性评价指标值对数据库的完整性进行评价，包括：

从第一功能表中读取第一字段，所述第一字段为数据表中包含的总记录数；从第二功能表中读取第二字段和第三字段，并根据第二字段建立数据表与字段的所属关系；所述第二字段表示用户可见的字段所属的数据表的名称；所述第三字段为数据表中每个字段包含的空值数；

从数据库中读取一数据表，累加所述数据表的第三字段的值，得到所述数据表的none值数量；计算去除全空字段的none值数量和满字段记录数；

遍历所述数据库中的全部数据表，将得到的数据指标值进行累加，计算数据库全空字段比例、数据库满字段记录比例、数据库none值比例和数据库去除全空字段的none值比例，对所述数据库的完整性进行评价。