[发明专利]基于LSTM和DCGAN的时序性图像预测方法

说明书

本发明公开了一种基于LSTM和DCGAN的时序性图像预测方法，将DCGAN出色的特征捕捉能力与LSTM进行结合，可使得预测的图像数据可视化，便于直接观察；经过改进后的LSTM网络内部具有卷积特性，能直接学习到图像数据的二维空间特征；为减少其内部学习复杂度，将传统的输入图像改为输入特征；特征来源于DCGAN的提取，相对于原始图像在维度方面有了很大的简化，使得整体网络可控。本发明通过DCGAN很好的降低了特征维度，解决了高维不可计算的问题；改进后的LSTM能够更好地学习到时序性特征，从而实现更精确的预测；整体网络结构在连接方法上遵从栈式级联策略，为控制网络深度提供保障。本发明提出的时序性图像预测模型架构理论上适用于所有的时序性图像。

技术领域

本发明涉及时序性图像预测改进方法，尤其涉及一种基于LSTM和DCGAN的时序性图像预测方法。

背景技术

现阶段，图像识别与深度学习的结合已然成为计算机视觉方面的研究热点，但就目前的发展形势而言仍有很大的局限性，其最大程度表现在识别的对象是离散的、彼此无关的，且主要以分类为主。为更好的拓展相关业务需求，图像识别近期的发展侧重点已经放在了图像彼此相关联的时序性上。通过有效的学习可以预测未来指定时刻图像特征的变化，可将传统分类操作拓展到预测操作上了。时序性图像的研究可以在多种应用中受益，如短时强降雨预报、视频分类、行为识别等。

针对时序性数据的研究，过去有很多序列建模的算法被提出。其中，最著名的就是HMM隐马尔科夫模型。但HMM的计算量太大，即使使用动态规划Viterbi算法去实现，在状态过多的时候也会出现不可计算问题。幸运的是，上世纪80年代末循环神经网络(RNN)的理念被提出。RNN多用于时序数据的学习，它具有端到端可导、特定框架及可通过正则化的方法，如权重衰减、dropout机制、限制自由度等改善过拟合的特点。在过去的几年中，RNN在语音识别、语言建模、翻译、图片描述等问题上已经取得一定成功。但传统的RNN存在长期依赖问题(Long-Term Dependencies)。

之后，在1997年Hochreater和Schmidhuber提出了RNN的改进版本——长短期记忆神经网络LSTM，并在近期被Alex Graves进行了改良和推广。在很多问题上，基于LSTM的模型，有效解决了RNN存在的梯度消失和梯度爆炸以及长期记忆不足的问题。现如今LSTM已经在诸多领域得到应用和发展，如Cho et al在2014年提出了Gated Recurrent Unit(GRU)，它将遗忘门和输入门合成了一个单一的更新门，同样混合了细胞状态和隐藏状态，最终的模型比标准的LSTM模型要简单。Yao等人提出Depth Gated RNN。Xingjian Shi，Z Chen等人提出了一种将卷积与LSTM相结合的新型网络，该模型可以同时学习到空间和时间上特征。Yaya Heryadi等人将Stacked LSTM和CNN-LSTM用于识别欺诈性交易信息。X Han等人利用双向LSTM实现帮客户找到最适合的穿着搭配方式。S Wang等人在FPGA上使用结构化压缩技术实现了高效的LSTM。J Li等人基于双向LSTM和序列采样来优化图像描述。

DCGAN出色的特征捕捉和生成能力在很多场景中得到了证实。DCGAN将GAN从多层感知机MLP结构扩展到CNN结构，摒弃池化层的同时还在卷积操作与激活函数之间加入BatchNormalization实现局部归一化，从而解决了网络模型在训练时梯度消失和梯度弥散等问题，保留了出色的生成数据能力和CNN特征提取的优点，使它在图像分析和处理能力上得到提升。它在celebA、LSUN和Google Image Net这种现实世界的真实大规模数据集上训练，结果令人满意。

发明内容

发明目的：针对以上问题，本发明提出一种基于LSTM和DCGAN的时序性图像预测方法，可有效提高图像预测的精确度。

技术方案：为实现本发明的目的，本发明所采用的技术方案是：一种基于LSTM和DCGAN的时序性图像预测方法，包括步骤：