[发明专利]一种高维数据协同变化幅度识别方法及装置

说明书

本文提供了一种高维数据协同变化幅度识别方法及装置，其中，方法包括：对高维数据样本进行预处理，得到数据矩阵X，其中，预处理包括：对齐高维数据的频率及填补高维数据的缺失值；利用抽样周期T₀对数据矩阵X进行抽样处理，得到多个子数据矩阵X_i；根据所有子数据矩阵X_i，计算所述数据矩阵X的协方差矩阵估计V；对所述协方差矩阵估计V进行特征分解，得到特征向量Vx；将数据矩阵X在特征向量Vx方向进行投影，得到高维数据协同变化幅度。本实施例能够解决高维数据频率不一、发布时间不对齐的问题，使得计算出的高维数据协同变化幅度与实际情况相符，提高高维数据协同变化幅度的精确度。

技术领域

本文涉及数据分析领域，尤其涉及一种高维数据协同变化幅度识别方法及装置。

背景技术

现有技术中存在较多的高维数据，例如声波阵列信号、强噪环境信号、金融数据及经济数据等，这些高维数据包含多个变量(也可称之为指标)，这些变量之间存在协同性变化，以经济数据(包含多个经济变量)为例，现有对经济数据协同性变化分析的主要实现方式为：利用Geweke、Sargent和Sims(1977)提出的动态因子模型(Dynamic Factor Model,DFM)从一系列宏观经济变量中提取出单一因子，以描述变量间的协同运动，从而解决了采用单一经济变量表示数据变化存在的局限性。但是，该方法仅能仅能处理频率相同的经济数据，且当分析数据的维度增加时，DFM模型将变得不稳定。伴随社会分工细化和经济活动多样化，经济数据的维度呈现出暴发增长，该分析方法难以精确的确定经济数据的协同变化幅度，进而使得利用经济数据协同变化幅度分析得到的经济周期、经济周期拐点判断不准确。

发明内容

本文用于解决现有技术中，对于高维数据的分析仅从中提取单一变量因子，用于表示高维数据中所有变量的协同变化，该种方法并不能精确地表示高维数据协同变化幅度的问题。

为了解决上述问题，本文的第一方面提供一种高维数据协同变化幅度识别方法，包括：

对高维数据样本进行预处理，得到数据矩阵X，其中，预处理包括：对齐高维数据的频率及填补金融数据的缺失值；

利用抽样周期T₀对数据矩阵X进行抽样处理，得到多个子数据矩阵X_i；

根据所有子数据矩阵X_i，计算所述数据矩阵X的协方差矩阵估计V；

对所述协方差矩阵估计V进行特征分解，得到特征向量V_x；

将数据矩阵X在特征向量V_x方向进行投影，得到高维数据协同变化幅度。

本文进一步实施例中，填补所述高维数据的缺失值包括：利用如下公式所示的前向插值法填补所述高维数据的缺失值：

E[D_t,j]＝D_t-k,j，

其中，D_t-k,j为高维数据中的j变量在采样时间t之前最近可得的数据记录，E[D_t,j]为高维数据中的j变量在采样时间t的填充值，t-k为最近的数据记录的采样时间。

本文进一步实施例中，根据所有子数据矩阵X_i，计算所述数据矩阵X的协方差矩阵估计V，包括：

利用Newey-West协方差矩阵调整方法，估计各子数据矩阵X_i的协方差矩阵V_i；

对各子数据矩阵X_i的协方差矩阵V_i进行加权平均处理，将计算得到的平均值作为所述数据矩阵X的协方差矩阵估计V。

本文进一步实施例中，对所述协方差矩阵估计V进行特征分解，得到特征向量V_x，包括：