[发明专利]一种大数据主外键一致性评价方法、装置和设备

说明书

本发明提供了一种大数据主外键一致性评价方法、装置和设备。所述方法包括从数据库中读取数据表信息以及数据表中字段信息，判断各字段属性；选择一目标数据表，并从其他数据表中选择对比数据表；根据主外键关系筛选方法对所述目标数据表和所述对比数据表进行主外键关系评价。以此方式，可以对字段间关系进行预判，过滤掉明显不可能存在主外键关系的字段，大幅度减少字段间内容比对的工作量，快速高效的检测出缺失的主外键关系，提高检测效率和准确性，且具有广泛的适用性。

技术领域

本发明的实施例一般涉及计算机数据处理领域，并且更具体地，涉及一种大数据主外键一致性评价方法、装置和设备

背景技术

随着我国电力行业信息化水平的不断提升、互联网应用的持续普及，电力业务系统中所需存储与处理的数据量呈指数级增长。为了提升系统响应速度与开发效率，越来越多的开发人员选择忽略关系型数据库中的主外键约束。这使得不同表中的相同数据无法及时准确的同步，数据质量显著降低，无法支撑企业级的大数据分析与应用。企业不得不花费大量的时间和精力开展数据治理工作。由于主外键关系的缺失，数据治理工作人员也无法获取表与表之间的关联关系，只能通过与开发人员的沟通和业务的梳理来获取关联关系。这样的方法效率极低，随着数据的增长，这样的方法也难以维系，并且难以对数据治理工作的成效进行量化评估。

发明内容

根据本发明的实施例，提供了一种大数据主外键一致性评价方案。

在本发明的第一方面，提供了一种大数据主外键一致性评价方法。该方法包括：

从数据库中读取数据表信息以及数据表中字段信息，判断各字段属性；

选择一目标数据表，并从其他数据表中选择对比数据表；

根据主外键关系筛选方法对所述目标数据表和所述对比数据表进行主外键关系评价。

进一步地，所述判断各字段属性，包括：

判断所选字段是否为uuid；

判断所选字段内容的类型；

判断所选字段是否为所属数据表主键。

进一步地，所述判断所选字段是否为uuid，包括：

如果所选字段中只包含字符“0123456789ABCDEFabcdef”和分隔符“-”，且字符长度在32～42之间，则判定所选字段为uuid。

进一步地，所述判断所选字段的内容类型，包括：

判断所选字段中每条记录的类型是否一致，如果是，则判定所选字段的内容类型为该记录类型；否则判定所选字段的内容类型为无类型。

进一步地，所述判断所选字段是否为所属数据表主键，包括：

判断所选字段是否满足下述条件之一，如果是，则所选字段是所属数据表主键，否则，所选字段不是所属数据表主键；

条件1：所选字段已被设置为数据表主键；

条件2：所选字段为uuid，且字段编号为1；

条件3：所选字段包含不同值的个数不小于数据表包含的记录数，且所选字段的字段编号为1。

进一步地，所述根据主外键关系筛选方法对所述目标数据表和所述对比数据表进行主外键关系评价，包括：

步骤1：判断所述目标数据表的记录数是否为0，如果是，则所述目标数据表和所述对比数据表之间无主外键关系；否则判断所述对比数据表的记录数是否为0，如果是，则所述目标数据表和所述对比数据表之间无主外键关系；否则继续判断所述目标数据表中是否存在主键字段，如果是，则执行步骤2；否则所述目标数据表和所述对比数据表之间无主外键关系；