[发明专利]一种云环境下基于时序数据的异常检测系统

权利要求书

1.一种云环境下基于时序数据的异常检测系统，其特征在于，所述系统包括以下模块：Collector数据采集模块、数据存储模块、Analyst分析模块以及告警通知模块，所述Collector数据采集模块定时采集所在设备的业务指标数据通过汇聚模块传输到数据存储模块，所述存储模块用于存储时间序列数据，并将数据传送至分析模块，所述Analyst分析器模块用于对时序数据进行分析，通过告警通知模块推送通知消息给用户。

2.根据权利要求1所述的云环境下基于时序数据的异常检测系统，其特征在于，所述

Collector数据采集模块安装在服务器或工作站的系统中，作为一种agent，定时采集所在设备的业务指标数据，所采集数据都有时间标签，因此为时序数据。

3.根据权利要求2所述的云环境下基于时序数据的异常检测系统，其特征在于，所述

采集模块上传数据至汇聚模块中，汇聚模块用于收集数据，统一提交到存储，汇聚模块内部维护数个队列，采集的时序数据作为片段压入队列中，当队列满的时候，统一提交到存储模块的redis保存。

4.根据权利要求3所述的云环境下基于时序数据的异常检测系统，其特征在于，所述Collector数据采集模块中采集数据时使用数据帧格式，当待发送数据积累到规定大小时，才封装为一个帧发送到汇聚端，汇聚端采用队列机制，帧进入队列，当队列满后，一次将队列中的数据上报到Redis中。

5.根据权利要求4所述的云环境下基于时序数据的异常检测系统，其特征在于，Analyst分析器模块用于对时序数据进行分析，对于不同的业务数据类型，本模块会按照动态算法来分析时序数据，判断具体某个点的数据是否正常，这种判断不依赖预先设定的固定阀值，而是根据业务数据的类型和特点，实时计算出合理范围，然后判断业务指标是否在合理范围内，若超过合理范围，则判断为异常点，通过告警通知模块推送通知消息给用户。

6.根据权利要求5所述的云环境下基于时序数据的异常检测系统，其特征在于，所述Analyst分析器模块中的动态算法计算方法如下：

判断指标是周期性的或者是非周期性的；

对于非周期性的，计算近期差值；

首先确定近期选取的点数n，假设现在时刻是t，采样周期为1分钟，n个点分别为t0，t1…,tn.分别计算n个数据点的最大值，最小值和平均值，记为avg，min，max；

计算阀值threshold＝min(max-avg,avg-min)；

即计算最大值和平均值的差值，平均值和最小值的差值，然后取二者小的一个；

设定计数器count为0；

对n个数据，计算t0-ti，i＝1..n，如果差值大于阀值，则计数器加1；

最后得到计数器count为差值大于阀值的数目TC，如果TC大于某个固定值，则认为此项检测当前时刻的值是一个异常点；

计算加权移动平均；

在时间t，选取较大的采样点数m，计算m个点的指数移动加权平均，计算方式如下：

EWMA(t)＝λY(t)+(1-λ)EWMA(t-1)for t＝1,2,...,m.

其中EWMA(t):为t时刻的加权平均值；

λ为加权系数0<λ<1，表明最近值所占的权重，经试验取为0.65，

Y(t)为在时间t得到的采样值；

EWMA(t-1)为t-1时刻的加权移动平均值；

然后计算标准差，根据标准差计算公式；

其中Xi为在i时刻的采样值，μi表示在i时刻的加权移动平均值，即μi＝EWMA(i)

根据3σ理论，如果在t时刻的采样值大于μi+3σ或者小于μi-3σ，则认为t时刻的值为异常，用公式表达即异常条件为：

Y(t)>μt+3σOR Y(t)>μt-3σ；

对于周期性的，以同期数据做比较，对于周期性的数据，采样计算n个点的移动平均，计算方式如下：

MA(t)＝MA(t-1)+Y(t)/n–Y(t-n)/n for t＝1,2,...,n；

其中MA(t):为t时刻的移动平均值；

Y(t)为在时间t得到的采样值；

MA(t-1)为t-1时刻的移动平均值；

这里将t-1时刻的移动平均值，加上当前时刻的值的影响，然后减去原来第一个值的影响；

然后计算标准差，根据标准差计算公式；

其中Xi为在i时刻的采样值，μi表示在i时刻的加权移动平均值，即μi＝EWMA(i)

根据3σ理论，如果在t时刻的采样值大于μi+3σ或者小于μi-3σ，则认为t时刻的值为异常，用公式表达即异常条件为

Y(t)>μt+3σOR Y(t)>μt-3σ；

计算同期数据的偏离程度；

定义W(t)＝(Y(t)-Y(t-1))/Y(t-1)其中t＝1,2,...,n；

W(t)即为偏离程度，Y(t)为当前时刻的采样值，Y(t-1)为前一时刻的采样值；

再根据W(t)计算移动平均值；

MA(t)＝MA(t-1)+W(t)/n–W(t-n)/n for t＝1,2,...,n；

其中MA(t):为t时刻的移动平均值；

W(t)为在时间t计算的偏离程度；

MA(t-1)为t-1时刻的移动平均值；

这里将t-1时刻的移动平均值，加上当前时刻的值的影响，然后减去原来第一个值的影响。

然后计算标准差，根据标准差计算公式：

其中Xi为在i时刻的采样值，μi表示在i时刻的加权移动平均值，即μi＝EWMA(i)；

根据3σ理论，如果在t时刻的偏离度大于μi+3σ或者小于μi-3σ，则认为t时刻的值为异常，用公式表达即异常条件为

W(t)>μt+3σOR W(t)>μt-3σ；

最终告警判定；

最终告警的判断根据指标是否具有周期性，如果是非周期性指标，只要满足第2步或者第3步任一判定为异常，即认定此点为异常指标，触发告警通知；

如果是周期性指标，只要满足第4步或者第5步任一判定为异常，即认定此点为异常指标，触发告警通知；

告警通知模块提供信息通道，可以以短信、邮件或者微信方式及时通知用户，告知检测的异常数据。