[发明专利]一种基于近邻的数据修复方法

权利要求书

1.一种基于近邻的数据修复方法，其特征在于，包括：

S1，基于数据点的全部属性，通过计算数据点在全属性空间上的K近邻距离，检测全属性空间上的异常数据点；

S2，基于所述全部属性中的给定部分属性，通过计算所述异常数据点在给定部分属性子空间上的K近邻距离并进行数据异常判断，确定所述异常数据点的正常属性；

S3，基于所述异常数据点的正常属性，利用给定运算方式，计算所述异常数据点的异常属性修复值，进行所述异常数据点的修复；

其中，所述S2的步骤进一步包括：

S21，对应每一个所述异常数据点，分别计算其与所述给定部分属性子空间内所有其它数据点的距离，并进行排序，分别获取每一个所述异常数据点相对所述给定部分属性子空间的对应K近邻距离；

S22，基于所述给定部分属性子空间内所有所述异常数据点对应的K近邻距离，计算部分属性异常阈值；

S23，通过判断所述异常数据点相对所述给定部分属性子空间的K近邻距离与所述部分属性异常阈值的大小关系，确定所述异常数据点相对所述给定部分属性子空间的正常属性；

其中，所述S23的步骤进一步包括：

若所述异常数据点相对所述给定部分属性子空间的K近邻距离小于所述部分属性异常阈值，则判定所述异常数据点相对所述给定部分属性子空间为非异常，以所述给定部分属性子空间对应的属性为所述异常数据点的正常属性。

2.根据权利要求1所述的方法，其特征在于，步骤S2中所述给定部分属性子空间包含所述全属性空间的多个不同属性子空间；

相应的，所述S2的步骤进一步包括：

基于每一个所述属性子空间对应的数据点属性，通过计算所述异常数据点分别在对应属性子空间上的K近邻距离，并分别进行异常判断，确定所述异常数据点相对各对应属性子空间的正常属性；

相应的，所述S3的步骤进一步包括：

S31，基于所述异常数据点相对各所述属性子空间的正常属性，利用给定运算方式，分别计算所述异常数据点相对各对应属性子空间的异常属性修复值；

S32，根据给定选取规则，选取所述异常数据点相对各所述属性子空间的异常属性修复值中的最优修复值，根据所述最优修复值修复所述异常数据点的对应属性。

3.根据权利要求1或2所述的方法，其特征在于，所述S1的步骤进一步包括：

S11，对应每一个数据点，分别计算其与所述全属性空间内所有其它数据点的距离，并进行排序，分别获取每一个数据点相对所述全属性空间的对应K近邻距离；

S12，基于所述全属性空间内所有数据点对应的K近邻距离，计算全属性异常阈值；

S13，通过判断每一个数据点对应的K近邻距离与所述全属性异常阈值的大小关系，检测所述全属性空间上的异常数据点。

4.根据权利要求2所述的方法，其特征在于，所述S32的步骤进一步包括：

选取根据所述异常属性修复值进行修复后，在所述全属性空间上的K近邻距离小于所述全属性异常阈值，且修复后与对应的原始异常数据点间距离最小的所述异常数据点对应的异常属性修复值作为最优修复值，根据所述最优修复值修复所述异常数据点的对应属性。

5.根据权利要求1所述的方法，其特征在于，所述S3的步骤进一步包括：

相对所述异常数据点的每一个异常属性，求取所述异常数据点在对应给定部分属性子空间中各K近邻数据点的对应属性的平均值，作为对应异常属性的修复值，修复所述异常数据点的对应异常属性。

6.根据权利要求3所述的方法，其特征在于，所述S12的步骤进一步包括：

求取所述全属性空间内所有数据点对应的K近邻距离的平均值μ以及标准差σ，确定μ+3σ为所述全属性异常阈值。

7.根据权利要求6所述的方法，其特征在于，所述S13的步骤进一步包括：

分别比较所述全属性空间内每个数据点的K近邻距离与所述全属性异常阈值的大小关系，并判断其中K近邻距离大于所述全属性异常阈值的数据点为所述异常数据点。

8.根据权利要求2所述的方法，其特征在于，所述多个不同属性子空间包括所述全属性空间的所有属性子空间。