[发明专利]一种基于联合神经网络模型的图像内容描述自动生成方法

说明书

本发明公开了一种基于联合神经网络模型的图像内容描述自动生成方法，包括构建联合神经网络、联合神经网络多层映射参数训练、图片及对应文本预处理和输入模型进行描述结果检测等四个步骤。本发明通过使用多层偏移改进的卷积深度神经网络和具有学习长期依赖信息的循环神经网络构建联合神经网络；利用误差反向传播算法对神经网络多层映射参数进行训练；对图像进行预处理，利用卷积神经网络提取特征以及进行特征映射；输入模型进行描述结果检测，用于将测试数据集中的图像进行特征向量输入训练好的联合神经网络中进行生成对应的文本描述，能够显著有效的提升的自动描述图片内容的效果。

技术领域

本发明涉及机器学习与图像处理技术领域，尤其涉及一种基于联合神经网络模型的图像内容描述自动生成方法。

背景技术

如何自动描述图像内容是人工智能在计算机视觉和自然语言处理领域中一项重要的研究课题。图像描述生成融合了计算机视觉，自然语言处理和机器学习的综合问题，类似翻译图像为一段描述文字，该问题对人类不具有挑战性，但是对机器有非常高的挑战性，因为该任务需要利用机器模型理解图像的内容和用自然语言去表达内容的关系，同时还要提取图像中的语义信息并生成人类的自然语言。

在机器翻译和大数据的研究热潮兴起后，也开始了图像自动描述研究的浪潮。当前大多数的Image Caption方法基于Encoder-Decoder模型。其中encoder一般为卷积神经网络，利用最后全连接层或者卷积层的特征作为图像的特征，decoder一般为递归神经网络，主要用于图像描述的生成。但普通RNN网络(Recurrent Neural Network)存在梯度下降的问题，RNN仅能记忆神经网络单元之前有限的单元内容，使得自动描述图像内容的效果不佳。因此需要一种基于联合神经网络模型的图像内容描述自动生成方法，用于显著有效的提升自动描述图像内容的效果。

发明内容

本发明的目的在于，针对上述问题，提出一种基于联合神经网络模型的图像内容描述自动生成方法。

一种基于联合神经网络模型的图像内容描述自动生成方法，包括如下步骤：

S1：构建卷积神经网络与循环神经网络的联合神经网络，用于使用多层偏移改进的卷积深度神经网络和具有学习长期依赖信息的循环神经网络联合构建；

S2：利用误差反向传播算法对联合神经网络多层映射参数进行训练；

S3：图像预处理，卷积神经网络提取特征以及进行特征映射，得到图像的特征向量，用于后续输入模型进行测试；

S4：特征向量输入联合神经网络进行类别判定，用于将测试数据集中的图像进行特征向量输入训练好的联合神经网络中进行生成对应的文本描述。

进一步的，一种基于联合神经网络模型的图像内容描述自动生成方法，构建联合神经网络包括如下子步骤：

S11：利用Flickr30k获得最大的图像字幕数据集，包括训练，验证，测试三部分；

S12：其中数据集中的train集中的图像处理作为卷积神经网络的输入；

S13：将训练集数据输入激活函数为ReLU的ResNet神经网络中进行多尺度检测和定向检测，其中卷积核规格分别为7*7,1*1，3*3，5*5；

S14：在卷积层中每层中将会复制输出向量进行映射运算，提取每层中的特征簇；

S15：构建2层的LSTM，将训练集中的文本向量集和ResNet提取的特征映射集进行匹配和反向传播计算，根据LSTM神经网络长短期记忆训练，完成联合神经网络的构建。

进一步的，一种基于联合神经网络模型的图像内容描述自动生成方法，映射运算模型构建包括如下子步骤：

S141：构建恒等快捷连接映射结构；