[发明专利]一种基于深度学习模型的图像中文描述方法

权利要求书

1.一种基于深度学习模型的图像中文描述方法，其特征在于，包括以下步骤：

步骤a、准备ImageNet图像数据集和AI Challenger图像中文描述数据集；

步骤b、对ImageNet图像数据集利用DCNN进行预训练，得到DCNN预训练模型；

步骤c、DCNN预训练模型对AI Challenger图像中文描述数据集进行图像特征提取和图像特征映射，传输至GRU门限递归网络循环神经网络；

步骤d、对AI Challenger图像中文描述数据集中的AI Challenger图像标注集进行词编码矩阵构建，包括文本预处理和分词，建立词典，在中文语句建立词索引；

步骤e、利用NNLM提取词嵌入特征，完成文本特征映射，传输至GRU门限递归网络循环神经网络；

步骤f、GRU门限递归网络循环神经网络作为语言生成模型，完成图像描述模型构建；

步骤g、中文描述语句生成。

2.根据权利要求1所述一种基于深度学习模型的图像中文描述方法，其特征在于，步骤b所述DCNN是深度卷积神经网络，选取经典DCNN网络模型AlexNet模型对ImageNet图像数据集进行预训练，得到网络各层权重系数值即DCNN预训练模型。

3.根据权利要求1所述一种基于深度学习模型的图像中文描述方法，其特征在于，在步骤c中；

所述图像特征提取是指DCNN预训练模型对AI Challenger图像中文描述数据集中的图片集进行特征提取，取出第三个连接层的具有4096维的特征向量，所述特征向量是原始图像经过5层卷积，3层全连接得到；

所述图像特征映射是指由于较大的特征向量在网络训练时易造成过拟合现象，因此采用全连接的方法将所述特征向量从4096维映射到512维的特征空间，得到图片特征映射矩阵。

4.根据权利要求1所述一种基于深度学习模型的图像中文描述方法，其特征在于，步骤d所述词编码矩阵构建包括以下步骤：

步骤d1、对AI Challenger图像中文描述数据集中的AI Challenger图像标注集即caption数据集进行预处理；

步骤d2、采用jiba对中文caption进行分词，筛选出频率大于4的词语组成词频词典；

步骤d3、设置S及/S作为文本的起止标识符占一个词语位，生成的词典共包含8560个词语；

步骤d4、对词典中每个词进行独热编码，词向量维度与词典大小相等为8560维，词向量中数值为1处代表该位置标号值为词典中词语的索引值。

5.根据权利要求1所述一种基于深度学习模型的图像中文描述方法，其特征在于，步骤e所述文本特征映射方法如下：

固定好遍历caption的滑动窗口大小为4，每次使用窗口中前三个词去推断下一个词的概率；词向量w的独热表示是一个维度为1*8560的向量，词向量经过投影矩阵C_8560*300，得到投影向量[w*c]_1*300，NNLM的输入层神经元的个数是三个投影向量的拼接维数，即900个，NNLM的隐层神经元个数为512，隐层激活函数为tanh函数，NNLM的输出层神经元个数为8560，并加入softmax进行归一化，得到词典中每一个词的概率，选取其中概率最高的作为预测词的概率，在caption数据集上遍历滑动窗口并得到隐藏层与输出层之间的权重矩阵就是最终得到的词嵌入矩阵，即文本特征映射矩阵W_512*8560，即将词典中每一个词都转化为一个512维的词向量；

NNLM模型的优化目标是在训练集上使得前t-1时刻词已知的情况下得出的t时刻词语概率值的似然函数最大化：

其中w_t是当前预测的词语，w_t-n+1…w_t-1是它的上文，优化的目标是当前词在已知上文语义情况下的最大似然；

模型的训练是用SGD算法来更新参数：

。