[发明专利]基于残差连接的Inception网络结合多层GRU的中文图像语义描述方法

摘要

本发明一种基于残差连接的Inception网络结合多层GRU网络的中文图像语义描述方法属于计算机视觉与自然语言处理领域；包括利用开源框架tensorflow对AI Challenger图像中文描述训练集以及评估集进行预处理生成用于训练的tfrecord格式文件；利用Inception_ResNet_v2网络对ImageNet数据集进行预训练，得到卷积网络预训练模型；加载预训练参数至Inception_ResNet_v2网络中并对AI Challenger图像集进行图像特征描述子的抽取；建立单隐层神经网络模型将图像特征描述子映射到词嵌入空间；将词嵌入特征矩阵与二次特征映射后的图像特征描述子作为双层GRU网络的输入；将原始图片输入到图说模型生成中文描述语句；使用评估数据集利用训练好的模型以Perplexity指标作为评估标准进行评估；本发明实现了用中文描述图像的技术问题，加强了语句的连贯性与可读性。

主权项

1.一种基于残差连接的Inception网络结合多层GRU网络的中文图像语义描述方法，其特征在于，包括以下步骤：步骤a、准备ImageNet图像数据集、AI Challenger图像描述训练集以及AI Challenger图像描述评估集，利用开源框架tensorflow对AI Challenger图像中文描述训练集以及评估集进行预处理生成用于训练的tfrecord格式文件；步骤b、利用Inception_ResNet_v2网络对ImageNet数据集进行预训练，得到卷积网络预训练模型；步骤c、加载预训练参数至Inception_ResNet_v2网络中并对AI Challenger图像集进行图像特征描述子的抽取；步骤d、对图像标注集采用中文分词组件jieba进行分词处理，依据分词后每个词语出现的频率由高到低建立词频词典，并给予每个词语唯一的数字编号建立索引；步骤e、建立单隐层神经网络模型提取描述集的词嵌入特征，并将图像特征描述子映射到词嵌入空间；步骤f、将词嵌入特征矩阵与二次特征映射后的图像特征描述子作为双层GRU网络的输入，通过训练网络得到最终图说模型；步骤g、将原始图片输入到训练好的图说模型生成中文描述语句；步骤h、使用评估数据集利用训练好的模型以Perplexity指标作为评估标准进行评估。