[发明专利]基于关联依赖的数据清洗方法

说明书

本发明提供一种基于关联依赖的数据清洗方法，包括以下制备过程：S1、对现有的原始数据进行预处理，以剔除无实际意义的数据，同时对数据集尽心管规范；S2、将与梳理过的数据集通过自动发现条件竖直依赖算法获得候选依赖集合；S3、判断候选依赖集合中的有效依赖对，并对依赖对重新组合获得关联依赖的条件组；S4、将有效依赖对与条件数据依赖的条件组存储获得有效候选依赖集合；S5、对有效候选依赖集合进行清洗，获得关联依赖集合；S6、以依赖集合中的关联依赖作为标准关联依赖对待检测目标数据集中的数据进行检测，以提出异常数据，最终获得洁净数据集；本发明提供的方法，能够高效的对数据进行清洗。

技术领域

本发明属于数据质量管理技术领域，具体涉及基于关联依赖的数据清洗方法。

背景技术

现实生活中的数据往往是肮脏的，因为数据收集的过程往往会引入一些未知的错误，企业基于数据来进行决策，脏数据则会对企业产生误导，导致不全面的分析结果和决策。为了防止脏数据造成的收入、信誉和客户的损失，利用数据依赖对数据进行清洗来提高数据质量是一种常用而有效的方法。

数据清洗指的是检测和修复数据中的错误的各种活动，是数据质量管理中最重要的问题之一。

由于脏数据经常导致不准确的数据分析结果，甚至导致企业每年损失数十亿美元，此外，数据的收集和采集过程经常会引入新的错误，这突出了开发数据清理解决方案以提高数据库中的数据质量的必要性。传统的技术能够在大多数数据清理任务如离群值检测、数据重复数据删除和数据转换中发现较为常见的错误。

但这些技术难以发现逻辑错误(例如，邮政编码和地址的之间存在一定的逻辑关系)。为了发现逻辑上的错误，研究者们把数据依赖引入了数据清洗领域，并通过数据依赖来对数据库中错误的数据进行清洗和修复。

数据依赖，如函数依赖，首先被应用于数据库设计中来评估一个关系是否处于第三范式(3NF)或Boyce-Codd范式(BCNF)，并且作为完整性约束被广泛应用于数据清理。数据间的依赖关系在数据质量管理中也发挥着重要作用，如错误检测、数据修复和数据重复数据删除等。然而，对传统依赖关系的开发是为了通过规范化来提高数据库模式的质量，优化查询和防止无效的更新。要想使得数据依赖关系在数据质量管理领域中发挥更加适合现实世界数据的作用，就必须对经典的依赖理论进行扩展。

自20世纪80年代初以来，依赖理论受到了广泛的关注的研究兴趣。然而，传统的数据依赖关系基于相等函数而成，例如函数依赖及由其扩展的其他依赖，由于大数据中数据之间存在着各种各样的关系，这些基于相等函数的依赖在此类应用中的清洗能力较弱。

发明内容

本发明的目的是克服现有技术的不足而提供一种基于关联依赖的数据清洗方法。

基于关联依赖的数据清洗方法，包括以下过程：

S1、数据集预处理，对获取的原始数据集进行预处理，剔除原始数据集中无实际意义的数据，并将原始数据集中数据的不同格式和规范修改为符合要求的统一格式和规范，得到规范数据集；

S2、候选依赖集合的建立，以S1获得的规范数据集中的数据作为输入值，输入到自动发现关联依赖算法中，获得候选依赖集合；

S3、关联依赖的条件组的建立，对S2获得的候选依赖集合中的候选依赖对进行判断获得有效候选依赖对，所述有效候选依赖对定义为(LHS，RHS)，所述有效候选依赖对然后对有效候选依赖对进行重新组合，获得关联依赖的条件组，所述关联依赖条件组定义为Tp；

S4、有效候选依赖集合的建立，将S3中的所有有效候选依赖对以及所有关联依赖的条件组存储到一个集合中，构成有效候选依赖集合；

S5、关联依赖集合的建立，将S4中获得的有效候选依赖集合中有效候选依赖对对应的关联依赖的条件组的覆盖率低于10％的有效候选依赖对删除，获得关联依赖集合；