[发明专利]环境传感器的采集数据流中连续异常检测的抽样GPR方法

说明书

技术领域

本发明涉及环境传感器的采集数据流中连续异常检测的抽样GPR方法，属于环境传感器的数据监测技术领域。

背景技术

环境传感器的广泛应用对数据的实时分析提出了更高的要求，环境传感器分布在其所监测的环境中，采集的数据通过遥测技术以时间序列的形式持续产生数据库，此种持续产生的数据形式为数据流模型。目前，环境传感器数据的实时应用已经得到广泛关注，但是由于环境传感器一般应用于比较恶劣的环境中，其数据通过通信网络进行传输，数据传输过程中会受到环境的影响，很容易被腐蚀，而未检测的错误将对数据值的实时分析产生较大影响。因此NSF(National Science Foundation)已经对数据质量的自我完善与控制提出了明确的要求。

异常检测就是用于鉴别与历史模型有很大偏离的数据模式。在环境传感器中异常数据的产生分两个方面，即由传感器本身引起的和数据传输中的错误或者较少出现的系统异常行为引起的。这些异常数据需要进行清除，以便于避免系统灾难的发生。环境传感器中对异常检测的要求大多是实时的，因此异常检测方法必须是快速地检测，以保证数据实时采集的要求。

传统的异常检测利用数据的图形化工具来手动识别数据中的异常，但是手动的方法在数据流的应用中不能满足实时性要求，因为手动的方式难以持续每周七天，每天24小时的强度。最近，研究者对统计与机器学习的方法进行了研究，例如minimum volume ellipsoid，convex pealing，近邻聚类，神经网络分类器，支持向量机分类器和决策树等，这些方法的效率优于手动方法，但是这些方法的缺点使得其不适用于实时的数据流异常检测。minimum volume ellipsoid和convex pealing方法要求必须将所有数据存储后再进行异常检测；而近邻聚类、支持向量机的方法对于大规模数据，其计算量非常大；而神经网络分类器、支持向量机分类器以及决策树要求是有监督的学习方式。由于环境传感器实时持续的收集数据，作用于整个数据集的方法将失效。

发明内容

本发明目的是为了解决传统的环境传感器数据流异常检测中由于数据计算量大，不能实时的进行异常检测的问题，提供了一种环境传感器的采集数据流中连续异常检测的抽样GPR方法。

本发明所述环境传感器的采集数据流中连续异常检测的抽样GPR方法，它包括以下步骤：

步骤一：设定环境传感器传感数据的滑动窗口尺寸为N，并设定抽样比为B:1，将滑动窗口中数据流前N*B个数据作为离线数据进行抽样，获得的N*B个数据作为初始的预测窗口数据，并根据初始的预测窗口数据形成预测窗口D_T；

步骤二：将环境传感器传感数据流中与当前时刻相邻的下一时刻数据元素索引作为预测窗口D_T的输入值，预测窗口D_T输出环境传感器传感数据流中下一时刻数据元素的预测均值，并获得与该预测均值对应的方差；

步骤三：根据预测窗口D_T输出的下一时刻数据元素的预测均值和对应的方差确定所述下一时刻数据元素正常时应落入的95%的置信区间；

步骤四：当所述下一时刻数据元素到达时，将其与所述置信区间确定的范围进行比较，若超出置信区间确定的范围，则视该数据元素为异常数据，存储该异常数据及其索引，并返回步骤二；否则执行步骤五；

步骤五：利用UBCS算法确定所述下一时刻数据元素是否加入预测窗口D_T，若加入，则将该下一时刻数据元素存储在预测窗口D_T内，并删除预测窗口D_T内最小索引对应的数据元素，完成预测窗口D_T的更新，再返回步骤二循环执行直至传感数据流结束，然后执行步骤六；否则直接返回步骤二循环执行直至传感数据流结束，然后执行步骤六；

步骤六：输出步骤四中判断获得的所有异常数据，实现环境传感器的采集数据流中连续异常数据的检测。

所述预测窗口D_T={x_i-Q,x_i-Q+1,...,x_i}，其中i表示当前时刻，Q为预测窗口D_T的尺寸，且Q=N*B，x为与其下标对应时刻的预测窗口数据；

将下一时刻数据元素x_i+1的索引作为预测窗口D_T的输入值，获得数据元素x_i+1的预测均值及与该预测均值对应的方差q；

确定下一时刻数据元素的95%的置信区间为