[发明专利]面向传感器单数据流的聚集异常检测方法

说明书

技术领域

本发明涉及一种异常检测方法，具体涉及面向传感器单数据流的聚集异常检测方法。

背景技术

由于传感器一般应用于测试设备中，其数据通过通信网络进行传输，因此数据很容易被腐蚀，而未检测的错误将对数据值的实时分析产生较大影响。因此NSF(National Science Foundation)已经对数据质量的自我完善与控制提出了明确的要求。异常检测就是用于鉴别与历史模型有很大偏离的数据模式。在传感器中异常数据是由传感器本身或数据传输中的错误或者较少出现的系统异常行为等引起的，而这些异常是用户非常感兴趣的。对于传感器中相对于历史模式的异常—聚集异常出现时（聚集异常一般出现在周期的时间序列数据流中，通过历史数据模式的对比来检测异常数据模式）需要对此采取相应行为进行异常模式的清除，以便于避免系统灾难的发生。传感器中对异常检测的要求大多是实时的，因此异常检测算法必须是快速地以保证数据实时采集的要求。

传统的异常检测利用数据的图形化工具来手动识别数据中的异常，但是手动的方法在数据流的应用中不能满足实时性要求，因为手动的方式难以持续每周七天，每天24小时的强度。最近，研究者对统计与机器学习的方法进行了研究，例如minimum volume ellipsoid，convex pealing，近邻聚类，神经网络分类器，支持向量机分类器和决策树等，这些方法的效率优于手动方法，但是这些方法的缺点使得其不适用于实时的数据流异常检测。minimum volume ellipsoid和convex pealing方法要求必须将所有数据存储后再进行异常检测；而近邻聚类、支持向量机的方法对于大规模数据其计算量非常大；而神经网络分类器、支持向量机分类器以及决策树要求是有监督的学习方式。由于传感器实时持续的收集数据，作用于整个数据集的方法将失效。

发明内容

本发明为了解决现有的异常检测方法不能满足实时性要求的问题，从而提出了面向传感器单数据流的聚集异常检测方法。

面向传感器单数据流的聚集异常检测方法包括下述步骤：

步骤A、离线聚集异常检测：

步骤一、通过面向传感器对待检测的数据流进行采集的离线训练数据，确定高斯过程回归模型的均值函数和协方差函数的类型，并设定离线训练数据的窗口尺寸，执行步骤二；

步骤二、设定均匀单链抽样方法的抽样比，执行步骤三；

步骤三、将步骤一中的离线训练数据的窗口尺寸与步骤二中设定的抽样比作为均匀单链抽样方法的输入参数，并根据步骤一中通过面向传感器采集的离线数据获得该数据的抽样样本，执行步骤四；

步骤四、将步骤三所述的抽样样本及该样本对应的到达索引值进行归一化处理，获得训练数据集合，执行步骤五；

步骤五、设定高斯过程回归模型中均值函数和协方差函数的初始值，所述的初始值为[0-1]中的随机值，执行步骤六；

步骤六、将步骤四所述的训练数据集合作为高斯过程回归模型的训练数据对，将步骤五中设定的参数初始值作为高斯过程回归模型的超参数初始值，进行高斯过程回归模型的训练，并将训练数据集合中归一化后的索引值作为训练后的高斯过程回归模型的预测输入数据进行预测，获得与预测输入数据对应的均值及方差输出数据，执行步骤七；

步骤七、判断步骤六所述的均值及方差输出与步骤一中的离线训练数据拟合情况是否符合要求，所述的要求为步骤一所述的离线训练数据位于步骤六所述的高斯过程回归模型预测输出值的置信区间内，若是执行步骤八；若否执行步骤九；

步骤八、获得抽样比和最优模型参数；

步骤九、以N秒的间隔增加抽样比，执行步骤三；

其中，0.05≦N≦0.35，

步骤B、在线聚集异常检测，将离线聚集异常检测过程中获得的抽样比和离线训练数据的窗口尺寸作为均匀单链抽样方法的输入参数，将最优模型参数作为GPR模型的超参数初始值：

步骤1、检测数据流，执行步骤2；

步骤2、将离线聚集异常检测过程中获得的抽样比和离线训练数据的窗口尺寸作为均匀单链抽样方法的输入参数，通过均匀单链抽样方法获得抽样数据元素，且统计获得抽样数据元素的个数；并通过抽样与离线训练数据窗口尺寸的乘积确定抽样数据元素的个数，执行步骤3；

步骤3、比较步骤2中通过均匀单链抽样方法获得抽样数据元素的个数与通过抽样与离线训练数据窗口尺寸的乘积确定抽样数据元素的个数，

当通过均匀单链抽样方法获得抽样数据元素的个数小于通过抽样与离线训练数据窗口尺寸的乘积确定抽样数据元素的个数执行步骤2；