[发明专利]一种基于深度学习模型的图像中文描述方法

说明书

本发明一种基于深度学习模型的图像中文描述方法属于计算机视觉与自然语言处理领域；包括准备ImageNet图像数据集和AI Challenger图像中文描述数据集；对ImageNet图像数据集利用DCNN进行预训练，得到DCNN预训练模型；对AI Challenger图像中文描述数据集进行图像特征提取和图像特征映射，传输到GRU门限递归网络循环神经网络；对AI Challenger图像中文描述数据集中的AI Challenger图像标注集进行词编码矩阵构建；利用NNLM提取词嵌入特征，完成文本特征映射；GRU门限递归网络循环神经网络作为语言生成模型，完成图像描述模型构建；中文描述语句生成；本发明弥补了图像中文描述的空白，实现自动生成图像中文描述的功能，并且在描述内容的准确性上有很好的改进，为中文NLP以及计算机视觉的发展奠定了基础。

技术领域

本发明一种基于深度学习模型的图像中文描述方法属于计算机视觉与自然语言处理领域。

背景技术

伴随着多媒体的发展以及互联网规模的扩大，手机，平板等硬件设备的普及化，使得互联网中的图像资源呈现指数增长。这给用户在互联网中进行图像检索带来很大的困难，而人为对这些图像进行手工标注已经成为一件不可能的事，为了确保图像可以被用户在有限的时间内被准确的检索出来，这需要使得机器可以自动理解图像中的内容，并为图像自动作上标注。进而方便用户的检索。

目前在图像描述方面出现的方法都是基于图像的英文文本描述，设计更符合中国国情的图像中文语义化理解系统对当下而言是一件迫切的任务。中文的自然语言处理NLP不同于英文的自然语言处理，例如：在NLP领域，词是最小的能够独立运用的语言单位，由于汉语的特殊性，中文为了能够更好地进行后续NLP任务需要对中文文本进行分词而英文不需要分词，中文分词也是英文和中文NLP的一个基本不同，中文在分词任务中，会碰到两种歧义现象：交叉歧义和组合歧义，解决分词歧义的技术方法主要有三大类，分别是基于规则的方法，基于统计的方法，以及规则和统计结合。目前一些好的分词器基于以上规则可以对中文分词的两种歧义现象进行改进。其次在目前出现的英文文本描述方法中，这些方法大都基于编解码的规则，而这种方法的局限性在于对复杂的场景无法对图像的内容进行准确而完整的英文描述。

发明内容

针对上述问题，本发明的目的在于提供一种基于深度学习模型的图像中文描述方法。

本发明的目的是这样实现的：

一种基于深度学习模型的图像中文描述方法，包括以下步骤：

步骤a、准备ImageNet图像数据集和AI Challenger图像中文描述数据集；

步骤b、对ImageNet图像数据集利用DCNN进行预训练，得到DCNN预训练模型；

步骤c、DCNN预训练模型对AI Challenger图像中文描述数据集进行图像特征提取和图像特征映射，传输至GRU门限递归网络循环神经网络；

步骤d、对AI Challenger图像中文描述数据集中的AI Challenger图像标注集进行词编码矩阵构建，包括文本预处理和分词，建立词典，在中文语句建立词索引；

步骤e、利用NNLM提取词嵌入特征，完成文本特征映射，传输至GRU门限递归网络循环神经网络；

步骤f、GRU门限递归网络循环神经网络作为语言生成模型，完成图像描述模型构建；

步骤g、中文描述语句生成。

进一步地，所述一种基于深度学习模型的图像中文描述方法，步骤b所述DCNN是深度卷积神经网络，选取经典DCNN网络模型AlexNet模型对ImageNet图像数据集进行预训练，得到网络各层权重系数值即DCNN预训练模型。

进一步地，所述一种基于深度学习模型的图像中文描述方法，在步骤c中；