[发明专利]一种基于神经网络及图像关注点的图像描述生成方法

摘要

本发明提供一种基于神经网络及图像关注点的图像描述生成方法，该方法采用两层字嵌入结构，而不是原先的一层嵌入结构，这样更有效的学习字表达；图像的特征表达是直接作为m‑RNN模型的输入的，这样能充分利用循环层的容量，允许使用小维度的循环层；借助决策软关注机制，本发明将图像显著区域的关注度体现出来，并作为多模态层的一个输入。通过这个方式，有效地利用了目标或场景间的轻重关系，针对性地描绘图像的语义特性。

主权项

一种基于神经网络及图像关注点的图像描述生成方法，其特征在于，包括以下步骤：S1：构建每一时刻帧t的图像的多模态模型：1)训练集中已标注图像的文本描述信息分成单个字集，用one‑hot向量表示对应字，作为模型的文本模块的输入，并经过两个嵌入层投影至一个稠密字表达空间，成为具有语义的字表达向量Wt；2)字表达向量用于循环卷积神经网络RNN某时刻帧t的输入进行循环卷积神经网络RNN计算，该时刻帧t的循环层激活Rt是由当前时刻帧的字表达向量和之前时刻帧t‑1的循环层Rt‑1共同决定的；3)已标注图像经过一个卷积神经网络CNN，并提取图像的L个显著特征；4)图像的特征作为LSTM的输入，LSTM中的隐藏层信息采取一种决策‘soft’关注机制可以获得指定区域特征在全局图像的重要程度，其重要程度和其特征通过求期望可以算出包含区域关注信息的上下文向量；5)将以上的字表达向量、循环层信息、图像特征和上下文向量通过转换矩阵投影至同一维度的多模态空间上并直接元素相加，再用元素比例双曲线正切函数激活，最后通过softmax层得到下一字的概率分布；S2：对构建的模型进行训练：整个模型的损失函数是对应图片的文本标注的混乱度，其等价于字集的平均对数似然值，对其使用标准梯度下降算法，通过反向传播算法学习模型参数。