[发明专利]基于数据质量检测规则挖掘结果的进一步挖掘方法

说明书

本发明提供了一种基于数据质量检测规则挖掘结果的进一步挖掘方法，属于数据挖掘技术领域。本发明通过定义数据质量检测规则的表达形式，自动发现出数据表中属性之间的数据质量检测规则，并在此基础上进一步挖掘属性值中隐藏的具体关系或信息，进而在提升数据质量的同时为数据使用者做出相应决策提供依据。本发明有效地挖掘出了属性之间存在的数据质量检测规则，减少了领域专家设计、配置数据质量检测规则的工作量，提高了工作效率，并且提取出了隐藏在数据值背后的相关规律，为数据使用者做出相应的决策提供了强有力的数据支撑。

技术领域

本发明属于数据挖掘技术领域，特别涉及一种基于数据质量检测规则挖掘结果的进一步挖掘方法。

背景技术

在数据呈爆炸性增长的今天，所有的数据都有一定程度的质量。数据质量(DataQuality)指的是在业务环境中，数据满足用户需求的程度以及在完整性、有效性、一致性等方面的完善程度。数据质量检测规则是检测数据质量的关键，是一种使用语义、语法等限定方法对数据、知识和业务范围进行限制的方式。自动发现数据质量检测规则可以减少领域专家设计、配置数据质量检测规则的周期，减少领域专家的工作量，提高工作效率，加快数据质量的建设进程。

随着组织对数据质量建设的重视，对数据质量检测规则的挖掘也越来越具有发展潜力，但是如何在数据质量检测规则挖掘结果的基础上再进一步地挖掘出数据值背后所潜藏的规律，成为了一个新的发展方向。目前虽然已有一些对数据质量检测规则进行挖掘的方法，但并未在挖掘结果之上做进一步的研究，因此对于数据所潜在的应用价值也未进行充分地利用，未能从数据中提炼出潜在的发展规律，从长远的发展角度来看，未能很好地适应当前结合人工智能技术进行持续发展的现状和要求。

发明内容

本发明的目的在于通过进行数据质量检测规则的挖掘，在挖掘结果的基础上分析、提炼出属性值之间潜藏的规律，为决策者进行相应的决策调整提供强有力的数据支撑。

一种基于数据质量检测规则挖掘结果的进一步挖掘方法，包括以下步骤：

S1、挖掘数据质量检测规则；

S2、根据挖掘结果，得到M字段和N字段的关联关系，将M字段和N字段的字段值进行聚类，对聚类结果中每一簇的特征进行转换，并标记各簇的特征。

进一步地，所述步骤S1包括以下流程：

R为关系模式，R的一实例为r，attr(R)为关系模式R的所有属性的集合，X为关系模式R的一属性子集，A为关系模式R的单个属性，t_p为包含了X和A中属性的模式元组，挖掘到的数据质量检测规则的表达形式为CFD:(X→A,t_p)。

进一步地，所述步骤S1中挖掘数据质量检测规则的过程包括以下流程：

S11、扫描数据库，在所述关系模式R中通过将所有先行值(即X→A中的X)集合建模得到属性包含格，搜索时，先考虑所有由单个属性组成的节点，再逐次考虑多属性组成的节点，直到达到(n-1)级，其中，n为关系模式R中的属性个数；

S12、为本层各节点(X,t_p)计算其C⁺(X,t_p)，其中，C⁺(X,t_p)＝{(A,C_A)}；判断本层各个(X,t_p)是否有相应的CFD:(X\{A}→A,t_p[X\{A}]||t_p[A])成立，若CFD成立，则修改本层中所有比节点(X,t_p)更具体的(X,U_p)的C⁺(X,U_p)，从C⁺(X,U_p)中除去节点(A,C_A)及(B,C_B)，其中B属于关系模式R上去除了属性集X的属性集；