[发明专利]面向传感器单数据流的聚集异常检测方法

摘要

面向传感器单数据流的聚集异常检测方法，本发明涉及面向传感器单数据流的聚集异常检测方法。本发明为了解决现有的异常检测方法不能满足实时性要求的问题。面向传感器单数据流的聚集异常检测方法采用离线聚集异常检测与在线聚集异常检测实时检测相结合的方式，有效地结合了通过训练子集进行原始数据建模，真实数据集验证了抽样高斯过程回归预测模型对于传感器单数据流聚集异常的适用性。本发明适用于异常检测领域。

主权项

面向传感器单数据流的聚集异常检测方法，其特征在于：它包括下述步骤：步骤A、离线聚集异常检测：步骤一、通过面向传感器对待检测的数据流进行采集的离线训练数据，确定高斯过程回归模型的均值函数和协方差函数的类型，并设定离线训练数据的窗口尺寸，执行步骤二；步骤二、设定均匀单链抽样方法的抽样比，执行步骤三；步骤三、将步骤一中的离线训练数据的窗口尺寸与步骤二中设定的抽样比作为均匀单链抽样方法的输入参数，并根据步骤一中通过面向传感器采集的离线数据获得该数据的抽样样本，执行步骤四；步骤四、将步骤三所述的抽样样本及该样本对应的到达索引值进行归一化处理，获得训练数据集合，执行步骤五；步骤五、设定高斯过程回归模型中均值函数和协方差函数的初始值，所述的初始值为[0‑1]中的随机值，执行步骤六；步骤六、将步骤四所述的训练数据集合作为高斯过程回归模型的训练数据对，将步骤五中设定的参数初始值作为高斯过程回归模型的超参数初始值，进行高斯过程回归模型的训练，并将训练数据集合中归一化后的索引值作为训练后的高斯过程回归模型的预测输入数据进行预测，获得与预测输入数据对应的均值及方差输出数据，执行步骤七；步骤七、判断步骤六所述的均值及方差输出与步骤一中的离线训练数据拟合情况是否符合要求，所述的要求为步骤一所述的离线训练数据位于步骤六所述的高斯过程回归模型预测输出值的置信区间内，若是执行步骤八；若否执行步骤九；步骤八、获得抽样比和最优模型参数；步骤九、以N秒的间隔增加抽样比，执行步骤三；其中，0.05≦N≦0.35，步骤B、在线聚集异常检测，将离线聚集异常检测过程中获得的抽样比和离线训练数据的窗口尺寸作为均匀单链抽样方法的输入参数，将最优模型参数作为GPR模型的超参数初始值：步骤1、检测数据流，执行步骤2；步骤2、将离线聚集异常检测过程中获得的抽样比和离线训练数据的窗口尺寸作为均匀单链抽样方法的输入参数，通过均匀单链抽样方法获得抽样数据元素，且统计获得抽样数据元素的个数；并通过抽样与离线训练数据窗口尺寸的乘积确定抽样数据元素的个数，执行步骤3；步骤3、比较步骤2中通过均匀单链抽样方法获得抽样数据元素的个数与通过抽样与离线训练数据窗口尺寸的乘积确定抽样数据元素的个数，当通过均匀单链抽样方法获得抽样数据元素的个数小于通过抽样与离线训练数据窗口尺寸的乘积确定抽样数据元素的个数执行步骤2；当通过均匀单链抽样方法获得抽样数据元素的个数大于通过抽样与离线训练数据窗口尺寸的乘积确定抽样数据元素的个数执行步骤4；当通过均匀单链抽样方法获得抽样数据元素的个数等于通过抽样与离线训练数据窗口尺寸的乘积确定抽样数据元素的个数执行步骤5；步骤4、更新抽样样本集合，即将一个抽样样本元素删除，执行步骤5；步骤5、将最优模型参数作为高斯过程回归模型的超参数初始值，并将步骤4中更新后的抽样样本及其对应的索引值的集合作为高斯过程回归模型的训练数据对进行训练，获得训练后的最优的高斯过程回归模型，执行步骤6；步骤6、将传感器下一时刻采集数据的索引作为最优的高斯过程回归模型的测试输入数据进行测试，获得此时传感器正常数据的均值和置信区间，确定了下一时刻传感器的正常值的范围，执行步骤7；步骤7、将下一时刻传感器采集的数据与步骤6确定的正常值的范围进行比较，若超出这一范围则将其标记为聚集异常数据，执行步骤8；若不超出这一范围则不对数据进行标记，直接执行步骤8；步骤8、判断数据流是否结束，若是结束；若否执行步骤2。