[发明专利]基于关联依赖的数据清洗方法

权利要求书

1.基于关联依赖的数据清洗方法，其特征在于，包括以下过程：

S1、数据集预处理，对获取的原始数据集进行预处理，剔除原始数据集中无实际意义的数据，并将原始数据集中数据的不同格式和规范修改为符合要求的统一格式和规范，得到规范数据集；

S2、候选依赖集合的建立，以S1获得的规范数据集中的数据作为输入值，输入到自动发现关联依赖算法中，获得候选依赖集合；

S3、关联依赖的条件组的建立，对S2获得的候选依赖集合中的候选依赖对进行判断获得有效候选依赖对，所述有效候选依赖对定义为（LHS，RHS），然后对有效候选依赖对进行重新组合，获得关联依赖的条件组，所述关联依赖条件组定义为Tp；

S4、有效候选依赖集合的建立，将S3中的所有有效候选依赖对以及所有关联依赖的条件组存储到一个集合中，构成有效候选依赖集合；

S5、关联依赖集合的建立，将S4中获得的有效候选依赖集合中有效候选依赖对对应的关联依赖的条件组的覆盖率低于10%的有效候选依赖对删除，获得关联依赖集合；

S6、错误检测，将S5获得的关联依赖集合中的关联依赖作为标准关联依赖，将待检测目标数据集中的数据与标准关联依赖进行比对，以进行错误检测，测出待检测目标数据集中的异常数据，将所述异常数据剔除；

所述S6中错误检测的过程为：

S61、定义待检测目标数据集中的任意两个属性为X和Y，表示为（X→Y）；

S62、对待检测目标数据集中属于当前检测关联依赖的每一条数据，检测其X属性上的值是否与条件组中的任意一个LHS值相等，若相等，说明该条数据满足关联依赖，执行S63；若不相等，说明该条数据不存在关联依赖关系，不对其执行S63；

S63、当目标数据集中当前检测关联依赖的数据中的X属性上的值与条件组中的任意一个LHS值相等时，检测该X属性上的值对应的Y属性上的值与当前LHS值对应的任一RHS值，若Y属性上的值与LHS值对应的任一RHS值相等，则说明该条数据符合关联依赖，是正确的数据；若Y属性上的值与LHS值对应的所有RHS值均不相等，则说明该条数据不符合关联依赖，存在异常，即为脏数据；

S64、重复S62-S63，直至将所述待检测目标数据集中的所有数据检测完毕。

2.根据权利要求1所述的基于关联依赖的数据清洗方法，其特征在于：所述S2中自动发现关联依赖算法使用列表存储所有数据中出现的依赖关系，利用四个索引来存储所有数据和每个数据所在的元组位置，从而利用索引对所有数据按照依赖关系进行重新组合构成候选依赖集合。

3.根据权利要求1所述的基于关联依赖的数据清洗方法，其特征在于：所述S3中获得有效候选依赖对的过程为，确定每一个依赖对在候选依赖集合中出现的位置ID和次数，如果所述依赖对在候选依赖集合中出现的次数大于预设阈值，则当前依赖对即为有效依赖对，同时删除在候选依赖集合中出现次数小于预设阈值的依赖对。

4.根据权利要求3所述的基于关联依赖的数据清洗方法，其特征在于：所述S3中关联依赖的条件组的获得过程为，将所有LHS值相同的有效候选依赖对存储到同一个候选依赖集合中的候选依赖子集中，该存储了相同LHS值的有效依赖对的候选依赖子集即为关联依赖的条件组。