[发明专利]基于k-d树的LOF离群点检测方法

摘要

本发明公开一种基于k‑d树的局部离群因子LOF离群点检测方法，主要解决当前LOF离群点检测方法在离群点检测时时间与空间复杂度高的问题，其技术方案为：使用k‑d树对k维空间中的数据对象进行存储以便对其进行快速检索，用垂直于坐标轴的超平面切分k维数据空间构造k‑d树，k‑d树的每个结点对应于一个k维超矩形区域，所有的离群点检测都在k‑d树结构上进行。本发明克服了现有技术中LOF离群点检测方法在处理实时大规模的高维数据对象时时间与空间复杂度较高，实用性差的问题，在保证大规模数据集下离群点检测准确率的同时提高了计算过程的高效性与实用性。

主权项

1.一种基于k‑d树的局部离群因子LOF离群点检测方法，其特征在于，使用k‑d树对k维空间中的所有数据对象进行存储以便对其进行快速检索，所有的离群点检测都在k‑d树结构上进行；该方法的具体步骤包括如下：(1)抓取局域网中的数据流，将数据流中的所有数据对象组成k维数据集空间：(2)获得切分维度：(2a)利用方差值计算公式，计算k维数据集空间中的所有数据对象在每个维度的方差值；(2b)对方差值进行降序排列，将其中最大方差值对应的维度作为切分维度；(3)确定切分结点：将所有k维数据集空间中的数据对象按照切分维度的属性值排序，将排序后的中间位置的数据对象，作为切分结点；(4)对k维数据集空间进行切分：(4a)将通过该切分结点且垂直于当前切分维度坐标轴的k维超矩形平面，作为当前维度的k维超矩形切分平面；(4b)使用当前维度的k维超矩形切分平面，将k维数据集空间划分为左子数据集空间和右子数据集空间；(5)判断是否为第一次切分k维数据集空间，若是，则执行步骤(6)，否则，执行步骤(7)：(6)将落在当前维度的k维超矩形切分平面上的所有数据对象，保存为k‑d树的根结点：(7)将落在当前维度的k维超矩形切分平面上的所有数据对象，保存为k‑d树的子结点：(8)判断当前每个左、右子数据集空间中是否包含两个以上的数据对象，若是，则执行步骤(2)，否则，完成构建空间划分树后执行步骤(9)：(9)查找数据对象：(9a)在k维数据集空间中任意选取一个数据对象；(9b)从根结点出发，向下搜索k‑d树，如果选取的数据对象在切分维度上的属性值小于切分结点的属性值，在左子空间查找，否则在右子空间查找；(10)计算选取的数据对象的第t距离：(10a)利用距离计算公式，计算选取的数据对象与其周围所有数据对象的距离；(10b)将选取的数据对象与其周围所有数据对象的距离升序排列，将排在第t个的距离作为该数据对象的第t距离，其中t表示常数，1≤t≤n，n表示数据集空间中数据对象的总数；(11)利用第t可达距离计算公式，计算选取的数据对象的第t可达距离：(12)利用局部可达密度计算公式，计算选取的数据对象的局部可达密度：(13)利用局部可达密度计算公式，计算选取的数据对象邻域内的所有数据对象的局部可达密度：(14)利用局部离群因子计算公式，计算所选取的数据对象的局部离群因子：(15)将局部离群因子的值大于1的数据对象判定为离群点对象；(16)判断所有数据对象是否选取完毕，若是，执行步骤(17)，否则，执行步骤(9)：(17)得到所有的离群点对象。