[发明专利]基于GTN的多元时间序列分类模型及其构建方法

说明书

本发明涉及一种基于GTN的多元时间序列分类模型及其构建方法，多元时间序列分类模型包括embedding层、Two‑tower Transformer层、gating层、线性层和softmax函数层，gating层根据每个tower的输出，得到每个tower的门控权重，并将得到的门控权重加入到相应tower的输出中，连接成最终的特征向量，线性层将gating层得到的结果维度转换成最终分类结果维度，softmax函数层将线性层的输出映射到[0，1]区间内，使得所有输出值的累加和为1，在最后选取输出结点时，选取概率最大的结点，可以实现更高的分类准确率，为以后的时间序列分类任务开辟了新的思路。

技术领域

本发明涉及一种基于GTN的多元时间序列分类模型及其构建方法。

背景技术

深度学习经过多年的发展与研究，目前主流的神经网络有深度神经网络DNN(DeepNeural Network)、卷积神经网络CNN(Convolutional Neural Networks)、循环神经网RNN(Recurrent Neural Networks)和基于注意力机制的Transformer模型。在大数据时代，数据的类型多种多样，常见的数据类型有视频、图像、时间序列等，而深度学习解决的任务大体上分为分类和预测两种任务。

DNN网络其实就是仅由全连接构成的前馈深度神经网络(Fully Connected FeedForward Neural Networks)，Deep表示他的网络模型具有较多的隐藏层，整体深度较大，且完全由全连接层构成。它适用于大部分分类(Classification)任务，比如数字识别等。但一般的现实场景中很少有那么大的数据量来支持DNN，所以纯粹的全连接网络应用性并不是很强。系统使用的数据集为13个多元时间序列(Multivariant Time Series)，其中多数数据集并没有大量的数据，全连接层的训练需要大量的训练数据来进行迭代更新。最重要的是，DNN无法对时间序列上的变化进行建模，然而，样本出现的时间顺序对于自然语言处理、语音识别等时间序列应用非常重要。因此，使用DNN模型并不能很好的完成时间序列上的分类任务。

CNN网络是一种使用共享卷积核来对数据进行特征提取的模型。卷积运算是一种数学计算，和矩阵相乘不同，卷积运算可以实现稀疏相乘和参数共享，可以压缩输入端的维度，因此CNN可以轻松胜任高维的训练数据。共享卷积核减少了需要训练的参数的数量，减轻了反向传播(BP)参数优化的负担，图像通过共享卷积操作后仍然保留原先的位置关系。卷积核在进行特征提取时，可以关注一个多维矩阵局部的特征，实验证明它可以对矩阵数据如图片的内容进行边缘检测、斑块的检测与图片主体的提取等，卷积核拥有多个通道，不同的通道甚至能够关注图片不同的特征，即对不同的特征进行提取。

但是，CNN网络要想获得不错的参数，往往需要很深的模型，这在使用BP算法时会导致梯度消失问题使得模型入口处的参数难以得到有效的训练。其次，CNN使用三维的卷积核能够关注不同通道上的局部特征，但是时间序列数据不同特征上的时间序列取值区间与表达的含义往往有所不同，使用多维的卷积核同时关注不同特征的部分时间序列显然没有道理可言。虽然CNN可以使用矩形的卷积核只关注某一个特征上的时间序列，但是相比较于Attention机制同时关注不同时间步或者不同特征时间序列上的相关程度而言，后者更加合适。最后，CNN处理的往往是高维的数据，数据量较大，深层的CNN模型往往使用池化操作，减轻需要特征提取的矩阵的大小，这往往会丢失很多有效的信息，特别是那些数据量本身就不大的时间序列，不同于图片，等间隔的删除若干元素可能对于图像的识别没有障碍，但是对于时间序列来说可能很大程度上影响特征的提取。