[发明专利]一种图像语义细粒度的描述生成方法

说明书

本发明请求保护一种图像语义细粒度的描述生成方法，属于计算机视觉和自然语言处理相融合的领域，解决了现有技术生成的图像语义描述粗糙不够精细的问题。该方法包括以下步骤：选取数据集和语料库，并对数据预处理；引入注意力机制的网络提取感兴趣区域特征，并根据感兴趣区域特征得到语义补充区域特征；将感兴趣区域特征输入到第一个长短时记忆网络，生成粗糙的图像语义描述；将已生成的图像语义描述输入到第二个长短时记忆网络，并根据语义补充区域特征对图像语义描述进行细化更新，获得图像语义细粒度的描述内容。该方法不仅提高了图像语义描述的精确度，还提高了图像语义描述的细粒度。

技术领域

本发明属于计算机视觉和自然语言处理技术领域，特别是涉及一种图像语义细粒度的描述生成方法。

背景技术

在人工智能的时代背景下，运用计算机理解图像，获取图像语义描述是一项具有前景的研究。运用计算机语义化理解图像，不仅涉及到计算机视觉，也与自然语言处理息息相关，是一项融合计算机视觉技术与自然语言处理技术的综合任务。计算机对图像进行语义分析、理解和自动描述是极具潜力的应用。对图像语义描述技术的推广研究也将为相关领域带来更广阔的应用场景，如图像检索、安全辅助驾驶、为视觉障碍人士提供视觉辅助、智能服务机器人和幼儿教育等领域。

早期的图像描述方法是通过将从图像中提取的对象和属性填充到预定义的句子模板中；随着深度学习的发展，目前主流的方法是基于编码器-解码器的体系结构，其中使用卷积神经网络提取图像特征，使用循环神经网络生成图像描述内容。

当前图像语义描述模型对于内容复杂的图像，如图像中存在多义和不确定的事务、隐式和显式的信息、复杂场景、复杂的对象与对象的关系等，生成的描述难以完整地描述图像语义，描述内容过于简单。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种旨在针对当前图像描述难以完整地描述图像语义以及生成的描述内容过于简单的问题，图像语义细粒度的描述生成方法。本发明的技术方案如下：

一种图像语义细粒度的描述生成方法，其包括以下步骤：

步骤1：获取开源并且已经标注描述的图像数据集，根据数据集的大小，划分训练集、验证集和测试集；抓取网络上公开的文本数据，构建语料库；

步骤2：对步骤1的图像数据和文本数据进行绑定、筛选、转格式和向量化的预处理；

步骤3：引入注意力机制的网络模型对图像进行特征提取，引入注意力机制的网络模型自动选定图像中感兴趣的提议区域，并提取此区域的图像特征；

步骤4：根据步骤3提取出的感兴趣区域图像特征作为反馈，对全局特征进一步筛选，提取出语义补充区域的特征。

步骤5：将步骤3提取出的感兴趣区域的特征输入到第一个长短时记忆网络，生成粗糙的图像语义描述；

步骤6：将步骤4提取出的语义补充区域的特征和步骤5已生成的图像语义描述输入到第二个长短时记忆网络，LSTM根据补充区域的特征细化图像语义的描述，最终得到图像语义细粒度的描述。

进一步的，所述步骤1具体采用的数据集如下：

a:Flickr30k数据集，经过选取和切分，包含29000张训练图片，1000张验证图片，1000张测试图片；

b:抓取100多万条英文句子组成图像描述语料库。

进一步的，所述步骤2对步骤1的图像数据和文本数据进行预处理，具体包括步骤：

将图像数据调整为相同的尺寸；去除语料库的符号、数字和特殊字符，将所有的文本数据转换为预定义的json格式，设置最大的单词频率，将出现次数超过设置的单词频率的单词，添加到词典中；将出现次数低于设置的单词频率的单词，使用预设符号代替，构建出词典；根据词典的大小，通过Word2Vec编码方法对单词进行词向量化。