[发明专利]一种基于近邻的数据修复方法

说明书

本发明提供一种基于近邻的数据修复方法，包括：S1，基于数据点的全部属性，通过计算数据点在全属性空间上的K近邻距离，检测全属性空间上的异常数据点；S2，基于所述全部属性中的给定部分属性，通过计算所述异常数据点在给定部分属性子空间上的K近邻距离并进行数据异常判断，确定所述异常数据点的正常属性；S3，基于所述异常数据点的正常属性，利用给定运算方式，计算所述异常数据点的异常属性修复值，进行所述异常数据点的修复。本发明能够有效提高数据修复的准确性以及数据修复的运行效率。

技术领域

本发明涉及计算机数据管理技术领域，更具体地，涉及一种基于近邻的数据修复方法。

背景技术

当今大数据时代有着海量的数据可供分析、挖掘，用以为人们进行各种活动提供更多的便利。随着对数据利用的增多，数据质量问题逐渐受到人们的重视。数据质量问题即数据在其生命周期(产生、储存、加工、使用)中由于某些原因产生偏差，导致最终数据的不一致、不精确、不完整等问题。

造成数据质量问题的原因很多，如数据源故障、人为失误、储存介质受损等。诸多的因素导致数据质量在生产生活中普遍存在。而在实际中，由于数据质量问题造成的损失不容小视。据统计，数据错误每年对美国工业界造成的经济损失约占GDP的6％；在金融企业中，因数据质量问题导致的信用卡欺诈失察在2008年即造成48亿美元的损失。

因此，如何修复已产生质量问题的数据便成了一个重要的研究方向。已有的数据修复方法大多基于某种约束规则，这些规则或由领域专家人为指定，或从部分训练数据中挖掘产生，但都会造成无法准确描述所修复数据集特点的问题。

发明内容

为了克服上述问题或者至少部分地解决上述问题，本发明提供一种基于近邻的数据修复方法，用以有效提高数据修复的准确性以及数据修复的运行效率。

本发明提供一种基于近邻的数据修复方法，包括：S1，基于数据点的全部属性，通过计算数据点在全属性空间上的K近邻距离，检测全属性空间上的异常数据点；S2，基于所述全部属性中的给定部分属性，通过计算所述异常数据点在给定部分属性子空间上的K近邻距离并进行数据异常判断，确定所述异常数据点的正常属性；S3，基于所述异常数据点的正常属性，利用给定运算方式，计算所述异常数据点的异常属性修复值，进行所述异常数据点的修复。

其中，步骤S2中所述给定部分属性子空间包含所述全属性空间的多个不同属性子空间；相应的，所述S2的步骤进一步包括：基于每一个所述属性子空间对应的数据点属性，通过计算所述异常数据点分别在对应属性子空间上的K近邻距离，并分别进行异常判断，确定所述异常数据点相对各对应属性子空间的正常属性；相应的，所述S3的步骤进一步包括：S31，基于所述异常数据点相对各所述属性子空间的正常属性，利用给定运算方式，分别计算所述异常数据点相对各对应属性子空间的异常属性修复值；S32，根据给定选取规则，选取所述异常数据点相对各所述属性子空间的异常属性修复值中的最优修复值，根据所述最优修复值修复所述异常数据点的对应属性。

其中，所述S1的步骤进一步包括：S11，对应每一个数据点，分别计算其与所述全属性空间内所有其它数据点的距离，并进行排序，分别获取每一个数据点相对所述全属性空间的对应K近邻距离；S12，基于所述全属性空间内所有数据点对应的K近邻距离，计算全属性异常阈值；S13，通过判断每一个数据点对应的K近邻距离与所述全属性异常阈值的大小关系，检测所述全属性空间上的异常数据点。

其中，所述S2的步骤进一步包括：S21，对应每一个所述异常数据点，分别计算其与所述给定部分属性子空间内所有其它数据点的距离，并进行排序，分别获取每一个所述异常数据点相对所述给定部分属性子空间的对应K近邻距离；S22，基于所述给定部分属性子空间内所有所述异常数据点对应的K近邻距离，计算部分属性异常阈值；S23，通过判断所述异常数据点相对所述给定部分属性子空间的K近邻距离与所述部分属性异常阈值的大小关系，确定所述异常数据点相对所述给定部分属性子空间的正常属性。