[发明专利]一种基于EEMD的时间序列数据异常值检测和校正方法

说明书

一种基于EEMD的时间序列数据异常值检测和校正方法，主要考虑现有方法不能很好地根据时间序列变化特性检测局部异常值。本发明方法包括：获取原始时间序列数据，按照时间顺序排序，对缺失数据用0值填补；对原始数据用中位数法进行异常值初步检测，把检测出的异常值用0值替换；对初步检测后的数据用EEMD法进行异常值精细检测，把检测出的异常值用0值替换；经过两次异常值检测，异常值都用0值替换了，接下来用局部曲线拟合方法对0值进行填补，也即对异常值校正。经过异常值检测和校正得到更接近客观真实的数据。该方法可用于一维时间序列数据的异常值检测和校正，适用的领域广泛，如：水资源监测数据、交通流数据、气象监测数据、金融数据等。

技术领域

本发明涉及一种基于EEMD的时间序列数据异常值检测和校正方法，数据处理领域。

背景技术

对于时间序列异常值检测方法的研究，前人已经提出了很多算法，如基于统计、聚类、距离、密度等异常值检测方法。但是这些方法没有考虑时间序列数据的时序变化特性，而是从数据全集考虑，隐藏在局部的异常值难以检测。

经验模态分解(Empirical Mode Decomposition，EMD)方法是由Norden E.Huang等人于1998年提出。EMD在机械故障诊断、地球物理探测、生物医学分析等方面都得到广泛的应用。尚未见有文献用于时间序列异常值检测。EMD可将不同尺度的波动或趋势从原信号中逐级分离出来。EMD适用于分析非线性非平稳信号，且具有完全自适应性。原始的时间序列x(t)经过EMD分解得到一系列固有模态函数(Intrinsic Mode Function， IMF)和一个残余项(residual，简记res)，即

其中c_i表示第i个IMF，r_n为残余项。EEMD是EMD的改进算法，有效解决了EMD的混频现象。

曲线拟合的原理是已知样本点(x_i，y_i)(i＝1，2，3，…，n)，求出解析函数y≈f(x)，使f(x) 在原样本点x_i上尽可能接近y_i的值。曲线拟合方法包括最小二乘曲线拟合(多项式拟合) 和线性插值拟合，最小二乘曲线拟合，就是使误差平方和最小的多项式拟合。即寻找一条曲线使在误差平方和最小的准则下与所有数据点最为接近，也即找出使最小的f(x)。通常，多项式的次数选用3次，低于3次，可能会造成波峰丢失，高于3 次，拟合时间长，容易产生虚假波峰。

发明内容

本发明的技术解决问题是：克服现有技术的不足，提供了一种基于EEMD的时间序列数据异常值检测和校正方法，用于解决监测数据存在不可靠数据的问题。

本发明的技术解决方案是：

一种基于EEMD的时间序列数据异常值检测和校正方法，步骤如下：

(1)对原始时间序列数据，按照时间顺序进行排序，对缺失数据用0值填补，得到初步整理数据；

(2)对所述初步整理数据进行异常值检测处理，把检测出的异常值用0值替换；

(3)对异常值检测处理之后的数据进行异常值校正处理，即对数据中的0值进行填补，完成时间序列数据异常值检测和校正。

步骤(2)对初步整理数据进行异常值检测处理，包括如下步骤：

(2.1)通过中位数法对所述初步整理数据进行初步检测；

(2.2)通过EEMD法对所述初步检测之后的数据进行精细检测。

所述步骤(3)对异常值检测处理之后的数据进行异常值校正处理，采用曲线拟合法实现。

所述通过中位数法对所述初步整理数据进行初步检测，具体为：