[发明专利]一种基于k甚近邻的高准确率全局离群点检测算法

摘要

本发明适用于数据挖掘领域，提供了一种全局离群点检测算法，包括步骤S1：将数据集D以分块方式进行检测；步骤S2：用数据集D的每个对象与第一个数据块的每个对象计算距离，并更新第一个数据块中每个对象的(m+k)近邻，实时计算每个对象的离群度，离群度小于阈值c的就从该数据块排除；步骤S3：处理完第一个数据块后，将第一个数据块中未被排除的对象按离群度从大到小排序，取前n个对象加入TOP n离群点，并更新阈值c；步骤S4：采用步骤S2对第i个数据块进行处理，处理完该数据块后更新TOP n离群点和阈值c；待所有数据块都处理完后输出TOP n离群点。本发明提供的算法能够增大数据集适用范围并能够提高检测准确率。

主权项

1.一种基于k甚近邻的高准确率全局离群点检测算法，其特征在于，包含以下步骤：步骤S1：将数据集D以分块方式进行检测，被检测的每一块数据称为一个数据块，数据块的每个对象与其(m+k)近邻距离都初始化为最大值；步骤S2：用数据集D的每个对象与第一个数据块的每个对象计算距离，并更新第一个数据块中每个对象的(m+k)近邻，实时计算每个对象的离群度，近邻数量小于m+k个时，离群度置为无穷大，离群度小于初始阈值c的就从该数据块排除；所述每个对象的离群度为该对象与其第m+1至m+k近邻的距离之和；步骤S3：处理完第一个数据块后，将第一个数据块中未被排除的对象按离群度从大到小排序，取前n个对象加入TOP n离群点，并更新阈值c；步骤S4：用数据集D的每个对象与第二个数据块的每个对象计算距离，并更新第二个数据块中每个对象的(m+k)近邻，实时计算每个对象的离群度，近邻数量小于m+k个时，离群度置为无穷大，离群度小于阈值c的就从该数据块排除；步骤S5：处理完第二个数据块后，若第二个数据块中未被排除的对象的离群度大于TOP n离群点中的离群度，则更新TOP n离群点，并更新阈值c；步骤S6：对于第i个数据块，i＝3、4、5……，重复步骤S4‑S5；直至所有的数据块都处理完，输出TOP n离群点；所述步骤S3和步骤S5中，在更新阈值c时，以所述TOP n离群点中第n个离群点的离群度作为阈值c的值。