[发明专利]一种时间序列数据异常检测方法与装置

说明书

技术领域

本发明属于数据管理及业务支撑领域，涉及信息采集及信息处理过程中的数据质量控制，具体涉及一种实时时间序列异常数据的检测方法及装置。

背景技术

随着互联网为代表的计算机信息技术的高速发展和传感器技术的广泛应用，人们在生产和生活中积累了海量的数据。对这些正呈现爆炸式增长的数据处理己经超出了人们的能力范围。数据挖掘作为一门融合了统计学方法、数据库技术、人工智能网络、可视化方法、高性能计算等学科和领域的新兴技术，能帮助人们及时发掘出有用的信息和丰富的知识，提高系统的预测分析能力和决策支持能力，因而得到了广泛的应用和推广。

异常检测是数据挖掘中的四类知识发现任务之一，其目的在于发现数据集中的小概率事件或模式，即与其它数据行为或模型明显不一致的数据对象(异常点)。

所谓异常(或称孤立点，异常点，下同)是指数据库(集)中与其他数据表现不一致或者大大地偏离其他数据点以至于怀疑它是由不同的机制生成的小部分对象。当信息系统采集的数据用于建模时，系统中存在的异常点不仅无法有效地建模并描述系统，而且会降低数据质量，并对数据分析、管理和决策水平产生不良影响。为了提高信息系统表达的准确性和可靠性，保证系统模型的使用效果，必须在系统建模前对异常数据加以识别并进行相应的处理。

目前，异常检测方法大多建立在统计学的基础上，主要包括基于偏离的方法、基于分布的方法、基于距离的方法和基于密度的方法等，但该类型的方法需要事先知道数据的分布，此外，基于统计的异常检测算法大多只适合于挖掘单变量的数值型数据，对高维、时间序列数据并不适用。而生物学方法、机器学习的方法和基于特征空间的方法等应用于时间序列的异常检测方法仍然处于探索阶段，还有很多不成熟的地方，很多方法适应性不强，且普遍存在明显的缺陷。

因此，需要一种新的时间序列数据异常检测方法以解决上述问题。

发明内容

发明目的：本发明针对现有技术的信息系统中存在的异常数据会降低系统模型的分析精度，不能真实客观的反映系统的本质的缺陷，提供一种改善现有数据分析过程中异常检测效率的时间序列数据异常检测方法。

技术方案：为解决上述技术问题，本发明的时间序列数据异常检测方法采用如下技术方案：

一种时间序列数据异常检测方法，设定时间序列D={d₁=(v₁,t₁),d₂=(v₂,t₂),...d_n=(v_n,t_n)}，时间序列数据d_i=(v_i，t_i)表示t_i时刻的观测值v_i，其特征包括以下步骤：

(1)、定义时间序列中数据点d_i的邻居节点其中，k为数据点d_i的邻居节点窗口宽度；

(2)、计算数据点di的邻居节点的均值

(3)、分别计算数据点d_i和邻接点均值之间的绝对误差值数据点d_i与其邻接点之间的累积变化量AC_i；

(4)、设定时间序列数据异常检测阈值τ，分别比较上述计算得到的绝对误差值累积变化量AC_i和阈值τ之间的大小关系：如果或AC_i>τ，则标记d_i为异常点，否则，保留d_i。

有益效果：本发明中提出的时间序列异常检测方法中，数据点异常的判定和该数据点的邻居节点相关，这体现了“局部”的概念，这是它与以往异常检测不同之处，也是优势所在。同时，邻居节点窗口宽度可依据不同时段的具体需求进行动态调整，保证了不同时段情况下的参数局部最优。本发明提出的时间序列异常检测算法能有效检测出时间序列中的异常数据，具有广泛的应用前景。

进一步的，所述k值代表邻居节点窗口宽度，它决定了参与计算均值(或累积变化)涉及的邻居节点个数。k值越大，参与计算的邻居节点越多。为获取变量k最佳取值，令k值范围为3-31，增量为2，即k={3,5,...,31}。