[发明专利]一种基于信息增益的CNN和LSTM图像高层语义理解方法

说明书

本发明公开了一种基于信息增益的CNN和LSTM图像高层语义理解方法，包括构建改进的卷积神经网络、构建卷积神经网络和长短期记忆网络联合神经网络、数据预处理和图像语义解读；构建改进卷积神经网络，是利用大规模图像语义数据集构建并改进卷积神经网络；构建联合神经网络，是利用改进的卷积神经网络和长短期记忆网络构建联合神经网络；数据预处理，是将图像进行数据增强的操作，同时将场景的文本标签实现嵌入操作完成数据预处理；图像语义解读，是将图像特征输入训练完成的模型中进行图像语义解读。本发明改进了传统的图像与文本信息的图像语义理解模型，提出了一种新的卷积神经网络和长短期记忆网络的结合方法，能够显著的提升图像语义解读的效果。

技术领域

本发明涉及图像语义理解领域，尤其涉及一种基于信息增益的CNN和LSTM图像高层语义理解方法。

背景技术

图像语义理解近年来已经成为计算机科学领域的热点研究领域。传统的图像语义理解是综合性的交叉学科，涉及到图像工程，计算机视觉，人工智能和认知学等领域。随着机器学习在近几年的快速发展，图像语义理解问题也从传统经典的算法也过渡到利用神经网络训练的目前主流的图像理解算法。图像语义理解，目前的方法集中在以下几个方面：

(1)基于图像分类的方法

图像分类问题需要更好的获得输入图像的特征向量，并基于特征向量学习优化。传统的算法使用常见的图像特征是HOG特征。HOG特征是将归一化的图像分割成若干个像素块，计算每个像素块的亮度梯度并将所有的像素块的亮度梯度进行串联。

(2)基于图像检索的方法

在传统的图像理解算法技术中，图像分类，相似图像索引是主要的研究方向。图像分类问题需要更好的获得输入图像的特征向量，并基于特征向量学习优化。传统的算法使用常见的图像特征是HOG特征。HOG特征是将归一化的图像分割成若干个像素块，计算每个像素块的亮度梯度并将所有的像素块的亮度梯度进行串联。

(3)基于深度学习的方法

编码器-解码器是RNN用常用来进行sequence-to-sequence学习和机器翻译的应用。近年来，该架构不再拘泥于RNN对文本信息的处理，基于CNN的编码器-解码器作为图像高层语义理解的另外一种思路。

如何准确、有效的解读输入图像中的高层语义，已经成为一个重要的研究课题。图像语义理解的重点是将图像中的特征提取、编码与循环递归网络进行解码的准确性。经过长足发展的卷积神经网络可以很好的完成图像特征提取和编码工作，具有记忆功能的LSTM网络可以胜任解码已经编码成功的图像特征。

因此，需要一种基于信息增益的CNN和LSTM图像高层语义理解方法来显著有效的解读图像中的高层语义。

发明内容

为了解决上述问题，本发明提出一种基于信息增益的CNN和LSTM图像高层语义理解方法。

一种基于信息增益的CNN和LSTM图像高层语义理解方法，其特征在于包括：构建改进的卷积神经网络、构建卷积神经网络和长短期记忆网络联合神经网络、数据预处理和图像语义解读；

所述构建改进卷积神经网络，是利用大规模图像语义数据集构建并改进卷积神经网络；

所述构建卷积神经网络和长短期记忆网络联合神经网络，是利用改进的卷积神经网络和长短期记忆网络构建联合神经网络；

所述数据预处理，是将图像进行数据增强的操作，同时将场景的文本标签实现嵌入操作完成数据预处理；

所述图像语义解读，是将图像特征输入训练完成的模型中进行图像语义解读。

进一步的，一种基于信息增益的CNN和LSTM图像高层语义理解方法，其特征在于，所述构建改进卷积神经网络采用以下步骤：