[发明专利]一种利用注意力机制改进的卷积长短期记忆网络时空序列预测方法

说明书

本发明公开了一种利用注意力机制改进的卷积长短期记忆网络时空序列预测方法。涉及计算机预测领域，具体步骤：(1)、非对称卷积块高维特征提取器提取空间特征；(2)、嵌入注意力模块的ConvLSTM编码器‑解码器架构预测外推特征；(3)、特征结果反向重构；(4)、L1、L2正则化优化算法；(5)、预测时空序列图像。本发明通过多层卷积神经网络可以很好的提取时空序列数据的高维特征，以此作为模型的输入不仅解决了高维不可计算的问题还强调了空间关键信息；改进后的ConvLSTM能够更好的学习到时空特征实现更精准的外推；本发明适用于所有的时序性图像。

技术领域

本发明涉及计算机预测领域，具体涉及一种利用注意力机制改进的卷积长短期记忆网络时空序列预测方法。

背景技术

时空序列预测为一种基于深度学习的图像外推技术，它根据之前的N帧图片序列来预测未来M帧图像；现阶段，图像外推技术已广泛应用在气象降水雷电预测、交通流预测、视频预测、人类动作预测、机器人技术等领域，已然成为计算机视觉方面的研究热点，但就目前的技术仍有很大的局限性；一方面当目标发生快速变化时，应基于附近的帧而非远处的帧上生成将来的图像，这要求预测模型学习短期视频动态；另一方面当场景中的运动对象频繁纠缠在一起时，很难将它们分离到生成的帧中，这就要求预测模型提取在发生纠缠之前的上下文；因此，应该适应性地考虑短期和长期的视频关系；由于外推算法除了输入序列并不会获得理解序列内容的任何线索，在这种无监督的情况下学习的最大障碍是如何对图像演化进行准确建模从而学习序列中复杂的时间和空间关系，所以建立一个有效的时空序列预测模型仍然是一个富有挑战性的任务。

传统的RNN模型会导致严重的梯度爆炸和梯度消失问题并且无法很好的处理远距离依赖。为了缓解这些问题，并进一步优化RNN模型，1997年Hochreater和Schmidhuber提出了长短期记忆网络(LSTM)模型，通过注入门机制学习选择性的记忆重要信息和遗忘次要信息，提高了RNN模型性能；为了更好的将LSTM模型应用在图像序列上，2015年Xingjian Shi等人提出了一种将卷积结构与LSTM相结合的新型网络Convlutional LSTM(ConvLSTM)，该模型可以同时学习到空间和时间上特征；2016年，Xingjian Shi等人继续提出了轨迹GRU来克服卷积结构的局部不变性；2017年Yunbo Wang等人对ConvLSTM的内部结构进行了改进，提出一种“之”字形网络PredRNN以有效利用横向和纵向信息。2018年又进一步对此进行了改进提出了PredRNN++，每个时间步和每一层之间有一个可适应的连接同时服务于长时和短时的路线，并提出Gradient Highway Unit用来防止长时导致的梯度消失；本发明为了解决长时信息丢失的问题在Encoder-Decoder架构中引入了Attention机制。

传统的编码器-解码器模型需要将所有输入序列压缩进一个固定大小的矢量中，这必然会造成大量关键信息的丢失从而影响模型性能，此外同等对待所有保留信息也是不合理的；2014年，Bahdanau D等人将注意力机制嵌入到编码器-解码器模型中，实现了从所有输入序列中学习提取关键信息，并强调重要信息和抑制不重要信息；2015年Luong M提出了局部注意力和全局注意力的概念，全局注意力机制需要所有的隐状态都参与计算上下文，而局部注意力通过预测位置向量来定位参与计算上下文向量的隐状态；2017年Chen L等人将通道注意力机制与空间注意力机制结合提出了SCA-CNN实现图像注释；本发明中设计了一种全局通道注意力机制嵌入到ConvLSTM编码器-解码器模型中。

发明内容