[发明专利]基于多维Epanechnikov核密度估计的异常检测方法

摘要

本发明涉及基于多维Epanechnikov核密度估计的异常检测方法。目的是提供的方法能准确检测出异常数据。技术方案是一种基于多维Epanechnikov核密度估计的异常检测方法，依次包括以下步骤1）所有分布节点各自采集数据，接着利用基于第k个最近距离的采样方法进行异常值诊断；2）在簇首节点滑动窗口内形成正常数据样本，根据该样本在簇首节点滑动窗口内建立核密度估计模型；3）上述核密度估计模型发送给各分布节点，各分布节点利用该核密度估计模型判断下一时刻各分布节点内到达的数据是否异常；4）每隔时间T，各分布节点主动向簇首节点发送最新一段时间的正常数据；5）返回至步骤一。

主权项

一种基于多维Epanechnikov(叶帕涅奇尼科夫，俄国人)核密度估计的异常检测方法，依次包括以下步骤：1)所有分布节点各自采集数据，接着利用基于第k个最近距离的采样方法进行异常值诊断，如果数据是正常值，就直接上传给簇首节点，如果是异常值，就将该异常值删除；2)在簇首节点滑动窗口内形成正常数据样本，根据该样本在簇首节点滑动窗口内建立核密度估计模型：其中，簇首节点数据样本中的数据集是X1,X2,…,Xn，Xi是多维属性数据，Xi＝(xi1,xi2,..,xid)为d维数据，|sc|为正常数据样本中数据的个数，X＝(x1,x2,…,xd)的核函数为k(X)，且满足则k(X)=(34)d1h1...hdΠ1≤i≤d(1-(xihi)2),|xihi|≤1,1≤i≤d0,|xihi|>1,]]>式中：滑动窗口宽度d为数据维数，σi表示数据集在第i维上的标准偏差(i＝1,2,…,d)，n为簇首节点滑动窗口内数据样本中数据的个数，n＝|sc|；3)上述核密度估计模型发送给各分布节点，各分布节点利用该核密度估计模型判断下一时刻各分布节点内到达的数据是否异常；若则认为该数据是异常值；式中，Xnew是进入节点内的新的数据；4)每隔时间T，各分布节点主动向簇首节点发送最新一段时间的正常数据；5)返回至步骤一；所述第k个最近距离的采样方法，通过以下步骤实现：(1)求被测值与该节点滑动窗口内所有N个采样时刻的测量值之间的距离；(2)将距离按升序排列，得到行距离矩阵；(3)将得到的行距离矩阵中第k个数据与设定的阈值θ比较，若大于等于θ，则被测值作为异常值删除，否则作为正常数据上传给簇首节点；具体流程如下所示：S1：设分布节点Ndj滑动窗口内初始数据S2：计算两个时刻数据值之间的欧式距离(m,v＝1,2,…,N)，并令矩阵A中的元素为S3：将矩阵A的每一行按升序排序，得到矩阵A’；S4：判断矩阵A’中第k个数(m初始值为1，θ为事先设定的阈值)是否成立，如果成立转S5；否则转S7；S5：将初始数据X(j)中第m个数据报告为异常，并从数据集合X(j)中剔除；S6：判断m是否小于N，若是，m＝m+1，转S4；否则，转S7；S7：分布节点Ndj从滑动窗口内获得正常数据集合，算法结束。