[发明专利]一种基于局部向量点积密度的数据流异常检测方法

摘要

本发明公开了一种基于局部向量点积密度的数据流异常检测方法，其特征是，包括如下步骤：1)对实时数据流进行处理；2)设置滑动窗口W中数据集Sm并初始化参数n，ε，λ；3)获取向量点积均值MVP；4)确定当前滑动窗口W中数据集Sm的最佳邻域半径r及r邻域；5)获取各数据点的局部向量点积密度LDVP；6)确定当前滑动窗口中的候选异常点；7)多重验证得到确定异常点。这种方法在高维空间和异常分布不均匀的数据集上，能准确有效的检测出当前实时、快速和多变的复杂数据流环境下隐藏的异常点，这种方法在无需聚类的情况下，能高效完成数据集的异常检测，且人为预设参数少，在不同异常占比和不同维数的情况下具有更高的鲁棒性和更强的自适应性。

主权项

1.一种基于局部向量点积密度的数据流异常检测方法，其特征是，包括如下步骤：1)对实时数据流进行处理：对数据采集终端采集的各式各样的实时数据流进行处理，数据采集终端采集的数据以流的形式缓存，并将缓存的数据划分成大小均为n的数据块E0,E1,E2,.....，.每一个数据块代表一个基础窗口，每个滑动窗口W包含2个基础窗口，采用基础窗口和滑动窗口W相结合，实现数据的插入和删除；2)设置滑动窗口W中数据集S^m并初始化参数n，ε，λ：利用步骤1)获取的数据块，得到当前滑动窗口W中数据集S^m：设S^m＝{X₁,X₂,...,X_N}，由ε个数据块组成，总共包含N个数据点，N＝ε·n，每个数据点根据其属性表示为其中n表示每个数据块包含的数据点数,ε表示每个滑动窗口W包含的数据块个数，λ表示多重验证次数；3)获取向量点积均值MVP：根据步骤2)中得到的m维数据集S^m＝{X₁,X₂,...,X_N}，其中共有N个数据点，假设数据集中任意三个点A，B，C∈S^m(A＝(X_A1,…,X_Am)，B＝(X_B1,…,X_Bm),C＝(X_C1,…,X_Cm))，以A为起始点，构成向量则点A关于数据集S^m的向量点积均值表示为MVP(A),当前滑动窗口W中每个数据点相对于该窗口中所有数据点的向量点积均值MVP，计算公式为公式(1)：其中，表示点A与数据集中其它数据点之间所构成不重叠向量点积的总数；4)确定当前滑动窗口W中数据集Sm的最佳邻域半径r及r邻域：最佳邻域半径r是由有序4‑dist曲线图中的谷底点对应的4‑dist值，即在4‑dist曲线图中找出“谷底点”，并把“谷底点”与其第4最近邻点之间的距离确定为当前滑动窗口W中数据集的最佳邻域半径r，r邻域是指在维度为m的数据集Sm中的某点p的r邻域，其由与该点p之间的距离小于最佳邻域半径r的数据点组成，r邻域可用Nr(p)表示，r邻域计算公式为公式(2)：Nr(p)＝{q∈Sm|dist(p,q)≤r}  (2)；5)获取各数据点的局部向量点积密度LDVP：根据步骤3)中所得的向量点积均值和步骤4)中所得的r邻域计算当前滑动窗口W中每个数据点p的局部向量点积密度LDVP，计算公式为公式(3)：6)确定当前滑动窗口中的候选异常点：对步骤5)得到的各数据点的局部向量点积密度LDVP进行降序排序，并采用基于最大斜率的异常判决准则，先确定出临界候选异常点，然后将当前滑动窗口W中所有局部向量点积密度小于该临界候选异常点LDVP值的数据点确定为候选异常点；7)多重验证得到确定异常点：对步骤6)中得到的所有候选异常点进行多重验证，并将经过3次验证仍表现为异常的候选异常点判决为确定异常点并输出保存。