[发明专利]一种高维大数据离群点检测方法

说明书

本发明公开了一种高维大数据离群点检测方法，属于离群点检测技术领域。该方法首先利用主成分分析法对输入的高维大数据进行降维处理，解决了孤立森林算法不适用于高维数据的问题，然后对降维后的数据用iForest算法进行异常值检测，具体地是对降维后的数据用基于k‑means的iForest算法进行异常值检测。与孤立森林原始方法中只考虑的两个分支相比，基于k‑means算法的孤立森林算法可以基于许多分支来构建搜索树，k‑means聚类算法用于预测每个决策树节点上的划分数量，缩短了搜索树的高度。

技术领域

本发明涉及离群点检测方法，具体涉及一种高维大数据离群点检测方法。

背景技术

随着数据挖掘技术的飞速发展，人们越来越关注数据的整体趋势以及与趋势明显偏离的数据点，通常这些离群的数据点包含着比整体趋势更加重要的信息。对离群点的研究是为了能够有效地识别大数据中的异常数据，进而挖掘出数据集中的重要潜在信息。当异常值被识别出时，数据分析人员将对离群点进行分析和异常挖掘。这种思路可以应用到很多场景中，例如对违法行为的监测、工业生产中的不良产品检测以及股票市场异常交易等等。

而当前针对离群点检测的方法主要是传统的低维离散点检测方法和高维大数据离散点检测方法。常规的异常检测方法通常依赖于索引结构或网格划分，并且通常仅适用于维数较小的数据。对于低维数据而言，最简单有效的检测算法便是iForest(IsolationForest，孤立森林)算法。随着数据维数的增加，常规异常检测算法的性能也会迅速下降。目前学术研究中对异常有许多的定义。IForest算法适用于连续数据检测，并且异常点通常被描述为“易于区分的无关值”，可以将其理解为很少分布且远离高密度组的点。iForest是一种基于集成学习的快速异常检测方法。它具有线性时间复杂度和高精度的特点，可满足大数据处理要求。但是在高维空间中，数据稀疏，并且数据点几乎等距。从密度或距离的角度来看，每个点都可以看作是一个离群值，并且几乎不可能对高维数据进行聚类。iForest算法由于每次切数据空间都是随机选取一个维度和该维度的随机一个特征，建完树后仍然有大量的维度没有被使用，导致算法可靠性降低，因此不适用于特别高维的数据。

发明内容

针对现有技术存在的问题，本发明提供一种高维大数据离群点检测方法，首先采用主成分分析法对高维数据进行降维处理，然后采用改进的iForest算法对异常点进行检测，旨在解决传统iForest算法不能应用于高维大数据离群点检测的问题。

本发明的技术方案是：

一种高维大数据离群点检测方法，包括如下步骤：

步骤1：利用主成分分析法对输入的高维大数据进行降维处理；

步骤2：对降维后的数据用iForest算法进行异常值检测。

进一步地，根据所述的高维大数据离群点检测方法，步骤1所述的利用主成分分析法对输入的高维大数据进行降维处理，包括如下内容：首先分别求解大数据样本点各属性的属性值的平均值，使各属性的每一属性值减去对应的平均值。然后将每个属性值作为变量，根据各属性值与对应的平均值的差值，求解属性的协方差矩阵；再然后通过协方差矩阵求解特征值和特征向量；又然后将特征值按照从大到小的顺序排序，选择其中最大的k个，最后将其对应的k个特征向量分别作为列向量组成特征向量矩阵，并将样本点投影到选取的k个特征向量上。

进一步地，根据所述的高维大数据离群点检测方法，所述步骤2为对降维后的数据用基于k-means的iForest算法进行异常值检测。

进一步地，根据所述的高维大数据离群点检测方法，所述步骤2包括如下步骤：

步骤2.1：从降维处理后得到的一组连续性数据组成的训练集中随机选择多个样本数据点作为子采样集，将该子采样集作为iTree的根节点；