[发明专利]基于数据质量检测规则挖掘结果的进一步挖掘方法

权利要求书

1.一种基于数据质量检测规则挖掘结果的进一步挖掘方法，其特征在于，包括以下步骤：

S1、挖掘数据质量检测规则；

S2、根据挖掘结果，得到M字段和N字段的关联关系，将M字段和N字段的字段值进行聚类，对聚类结果中每一簇的特征进行转换，并标记各簇的特征；

所述步骤S2包括以下流程：

S21、根据所述步骤S1的挖掘结果，提取具有关联关系的M字段和N字段，对其中一个字段进行数据列剖析，得到该列字段值中存在的不同值个数，以此作为聚类的簇数m；

S22、判断M字段和N字段中是否存在中文，若存在中文，则以数值编码的方式将中文转换为数值进行表示，将两字段的字段值按行取出存入集合中；

S23、进行聚类，创建初始划分，从数据集中随机选择m个对象，每个对象初始代表一个簇中心；对于除簇中心m个对象以外的其它对象，计算其与每个簇中心的距离，将其划入到距离最近的簇，采用欧几里得距离公式计算距离；采用迭代的方法，当有新的对象加入簇或已有对象离开簇的时候，重新计算簇中心的值，对对象进行重新分配；直到各簇中对象不再变化，迭代结束，得到聚类结果；

S24，对聚类结果中每一个簇的特征进行转换，将数值与对应的中文值进行映射，并标记各簇的特征。

2.如权利要求1所述的基于数据质量检测规则挖掘结果的进一步挖掘方法，其特征在于，所述步骤S1包括以下流程：

R为关系模式，R的一实例为r，attr(R)为关系模式R的所有属性的集合，X为关系模式R的一属性子集，A为关系模式R的单个属性，t_p为包含了X和A中属性的模式元组，挖掘到的数据质量检测规则的表达形式为CFD:(X→A,t_p)。

3.权利要求2所述的基于数据质量检测规则挖掘结果的进一步挖掘方法，其特征在于，所述步骤S1中挖掘数据质量检测规则的过程包括以下流程：

S11、扫描数据库，在所述关系模式R中通过将所有先行值集合建模得到属性包含格，所述先行值为X→A中的X，搜索时，先考虑所有由单个属性组成的节点，再逐次考虑多属性组成的节点，直到达到(n-1)级，其中，n为关系模式R中的属性个数；

S12、为本层各节点(X,t_p)计算其C⁺(X,t_p)，其中，C⁺(X,t_p)＝{(A,C_A)}；判断本层各个(X,t_p)是否有相应的CFD:(X\{A}→A,t_p[X\{A}]||t_p[A])成立，若CFD成立，则修改本层中所有比节点(X,t_p)更具体的(X,U_p)的C⁺(X,U_p)，从C⁺(X,U_p)中除去节点(A,C_A)及(B,C_B)，其中B属于关系模式R上去除了属性集X的属性集；

S13、检查本层各个(X,t_p)，若C⁺(X,t_p)为空，则剪去(X,t_p)；

S14、若两节点(X,s_p)、(Y,t_p)的前缀相同，即X与Y、s_p与t_p各自的前k-1个值对应相同，则为L_k+1层生成新节点(Z,U_p)＝(XUY[k],s_pUt_p[k])，并令L_k＝L_k+1，直至L_k+1为空集。