[发明专利]一种基于成分向量的经验模态分解高频数据的降噪方法

说明书

技术领域

本发明属于高频数据处理领域，更具体而言，本发明涉及数据降噪的方法。

背景技术

在实际数据分析中，噪声不可避免。同时，噪声成为干扰数据分析精度的明显瓶颈。经验模态分解(Empirical Mode Decomposition,EMD)方法(Huang et al.1998)有良好的降噪性能。经验模态分解可以自适应地将复杂时间序列数据分解成不同频率的有限个本征模态函数(Instrinsic Mode Function，IMF)和残余项。因此，它是分析非线性、非平稳信号序列有效工具，它被证明可有效使用本征模态函数的特性进行信号降噪。然而，EMD无法准确地区分含有信号与噪声的本征模态函数，使用这些模态可能导致噪声水平估计的不准确(Boudraa et al.2004)。因此，本领域中需要准确鉴定噪声组分并将其有效去除以实现降噪的方法。

已有大量前人研究来基于本征模态函数的特征解决降噪问题，形成了许多有效的方法。Huang et al.(2004)构建了白噪声的能量密度分布区间，以确定哪些本征模态函数是噪声组分。此外，Wu et al.(2009)提出了集合经验模态分解(Ensemble Empirical Mode Decomposition,EEMD)，以改进原始经验模态分解的模态混淆问题。Chen et al.(2012)将EEMD和小波阈值降噪方法组合来去除噪声。另外，Yeh et al.(2010)提出了互补集合经验模态分解(Complementary Ensemble Empirical Mode Decomposition,CEEMD)，将本征模态函数中残余噪声去除。

然而，其他本征模态函数仍然包含噪声组分。使用这些模态可能导致噪声水平估计的不准确。Sun et al.(2010)利用相关系数来选择噪声组分。目前，已有一些研究结合经验模态分解方法用于从信号组分中辨别噪声，例如奇异值分解(Jiang et al.2015)、去趋势波动分析(Ghanati et al.2015)和Savitzky-Golay过滤(Zhang et al.2011)。然而，这些方法仍具有短板，一些有用的信号也被去除了。

因此，本领域需要一种准确估计噪声水平的方法。

发明内容

本发明提出一种准确估计噪声水平的新方法，使用成分数据的统计特性和经验模态分解分析。本发明结合成分数据的统计特性和希尔伯特-黄变换(Hilbert-Huang Transform,HHT)进行经验模态分解噪声组分的鉴定。

因此，本发明提供了一种估计数据噪声水平的方法，所述方法包括步骤：

(1)使用经验模态分解将含噪声的原始高频数据分解成有限个本征模态函数和残余项；

(2)对所述本征模态函数进行Hilbert变换，得到它们的瞬时振幅和瞬时能量，将本征模态函数的瞬时能量看作为给定时间的基向量；

(3)根据成分向量的定义从所述基向量得到成分向量；在成分向量中，每个元素代表在该给定时间每个本征模态函数的能量占总能量的百分比，以此方式得到成分向量的集合；

(4)利用成分数据的统计特性的优势来分析每个本征模态函数的瞬时能量占比，得到成分向量的置信区间；比较每个成分向量的能量部分，获得每个本征模态函数对总能量的贡献；

(5)置信区间表示相应的本征模态函数所具有的能量占总能量百分比的置信区间，由此通过判断置信区间的上限和下限来判断该本征模态函数的能量占比比重，然后通过设定阈值来将噪声分量分离出来。

在一个实施方案中，将阈值设置为先判定能量占比最大的本征模态函数，得到最大的置信区间，然后置信区间的阈值为：置信上限为该最大置信上限的十分之一，置信下限为该下限的十分之一，由此得到置信区间的阈值，如果其余的本征模态函数的置信区间为该置信区间阈值的子集，则可判别该本征模态函数为噪声分量，否则为信号分量，由此可以从信号中有效除去噪声组分。

在一个实施方案中，步骤(1)中，信号s(t)被分解成多个本征模态函数和残余项

在一个实施方案中，步骤(2)中，在对每个本征模态函数组分进行Hilbert变换，获得数据的能量-频率-时间分布。

在一个实施方案中，步骤(1)中，所述数据是经济学中高频数据，例如股市数据、黄金数据、外汇数据等。