[发明专利]基于多时间尺度回声状态网络的多变量时间序列分类方法

说明书

本发明公开了一种基于多时间尺度回声状态网络的多变量时间序列分类方法，步骤如下：对于一个多变量时间序列，采用M个具有不同时间跳跃连接长度的跳跃储备池作为编码器，产生一种多时间尺度回声状态表示；采用M个卷积与池化层和一个全连接层作为解码器，卷积与池化层用于学习多时间尺度回声状态表示中的高维复杂特征，全连接层用于融合学到的不同时间尺度的特征以获取输入时间序列的一个多时间尺度特征；采用一个Softmax层作为分类器，根据输入时间序列的多时间尺度特征产生其分类结果。采用负对数似然函数作为损失函数，使用后向传播算法和梯度优化方法训练本模型。本发明的分类方法在多变量时间序列分类问题上达到了较高的准确率。

技术领域

本发明涉及时间序列数据挖掘技术领域，具体涉及一种基于多时间尺度回声状态网络的多变量时间序列分类方法。

背景技术

在时间序列数据挖掘技术领域中，多变量时间序列分类任务已被广泛应用于金融，医疗，制造工业等众多领域。多变量时间序列相比单变量时间序列，一般数据量更大，维度更高，相关性更强。

针对多变量时间序列分类问题，现阶段的技术大致可分为三类，分别是基于距离的分类方法，基于特征的分类方法和基于动态系统的分类方法。基于距离的分类方法的基本思路是，基于一些精心设计的距离计算方法(例如动态时间规整距离和马氏距离等)，使用支持向量机或者最近邻分类器根据样本之间的相对距离对其进行分类。这类基于距离的分类方法需要手工设计合适的距离，但没有一种距离是对于所有的时间序列数据都合适的。基于特征的分类方法的基本思路是，通过一些特征提取的方法从时间序列数据中提取多样的表示特征(例如统计特征、符号特征和分段特征等)，然后基于这些表示特征利用分类器对其进行分类。然而这类基于特征的方法也需要手工设计提取表示特征的方法，对于特定任务的特征提取严重依赖于领域知识或专家知识，非常耗费时间和劳动力。基于动态系统的分类方法假设时间序列数据产生于某个潜在的动态系统，通过机器学习或者深度学习(例如隐马尔可夫模型、条件随机场和循环神经网络等)的模型对动态系统进行建模，然后对其进行分类。然而现存的基于动态系统的方法没有显式地考虑时间序列数据中普遍存在的多尺度结构以及其中包含的多尺度时间依赖的问题，因此，该类方法在多变量时间序列分类问题上还存在提升的空间。

针对上述问题，目前亟待提出一种基于多时间尺度回声状态网络的多变量时间序列分类方法，来显式地学习时间序列数据中包含的多尺度时间依赖，以便对其进行更为准确地分类。

发明内容

本发明的目的是为了解决现有技术中的上述缺陷，提供一种基于多时间尺度回声状态网络的多变量时间序列分类方法。

本发明的目的可以通过采取如下技术方案达到：

一种基于多时间尺度回声状态网络的多变量时间序列分类方法，所述的多变量时间序列分类方法包括下列步骤：

S1、采用M个具有不同时间跳跃连接长度的跳跃储备池作为多变量时间序列的编码器，使得每个跳跃储备池能够学习输入时间序列中不同尺度的时间依赖关系，产生一种多时间尺度回声状态表示；

S2、采用M个卷积与池化层和一个全连接层作为所述的多时间尺度回声状态表示的解码器，其中，所述的卷积与池化层用于学习其中的高维复杂特征，所述的全连接层用于融合学到的不同时间尺度的特征以获取一个输入时间序列的多时间尺度特征；

S3、采用一个Softmax层作为分类器，根据所述的输入时间序列的多时间尺度特征产生其分类结果；

S4、采用负对数似然函数作为损失函数，使用后向传播算法和梯度优化方法ADAM训练本模型。

进一步地，所述的步骤S1包括：

S1.1、给定一个D维的多变量输入时间序列：

U＝(u(1),…,u(t),…,u(T))^T