[发明专利]一种基于多特征提取的图像语义描述方法及系统

说明书

本发明涉及一种基于多特征提取的图像语义描述方法及系统，属于图像特征提取技术领域，解决了现有技术提取的图像特征单一且长短时记忆网络只能捕捉单向时序信息等问题。该方法包括：将待语义描述的图像输入全局特征提取模型得到图像的全局特征向量；提取所述图像的属性特征向量；将所述全局特征向量和属性特征向量同时输入到双向长短时记忆网络，得到前向联合损失函数和后向联合损失函数；对所述前向联合损失函数和后向联合损失函数累加求和，当所述和最小时，获得与所述图像最佳匹配的语义描述。实现了多个图像特征的提取，提高了语义描述的精确度。

技术领域

本发明涉及图像特征提取技术领域，尤其涉及一种基于多特征提取的图像语义描述方法及系统。

背景技术

图像语义描述一直是人工智能领域中最重要的研究方向之一，是图像理解的高级任务。目前，基于深度神经网络的图像语义描述方法在这一领域取得了重大突破，尤其是卷积神经网络与递归神经网络相结合的语义描述生成模型。

Mao等人创造性地将卷积神经网络和递归神经网络相结合，解决了图像描述和句子检索等问题。之后Kiros等人率先将编码-解码框架引入图像语义描述研究。它们利用深度卷积神经网络对视觉信息进行编码，同时利用长短时记忆网络(LSTM)对文本数据进行编码。

在基于编码和解码的框架下，语义描述取得有益的效果，但是，现有技术提取的图像特征单一，不足以表示完整的图像信息，造成语义描述效果较差；其次，在RNN(循环神经网络)中存在的梯度消失问题利用LSTM可以消除，然而，LSTM只能捕捉单向时序信息，未实现真正意义上的全局上下文依赖，造成语义描述的精确度较低。

发明内容

鉴于上述的分析，本发明实施例旨在提供一种基于多特征提取的图像语义描述方法及系统，用以解决现有技术提取的图像特征单一且LSTM只能捕捉单向时序信息，造成语义描述精确度较低的问题。

一方面，本发明实施例提供了一种基于多特征提取的图像语义描述方法，包括如下步骤：

将待语义描述的图像输入全局特征提取模型得到图像的全局特征向量；

提取所述图像的属性特征向量；属性特征包括图像的轮廓、纹理与位置信息；

将所述全局特征向量和属性特征向量同时输入到双向长短时记忆网络，得到前向联合损失函数和后向联合损失函数；

对所述前向联合损失函数和后向联合损失函数累加求和，当所述和最小时，获得与所述图像最佳匹配的语义描述。

进一步，将所述图像输入属性特征提取模型提取得到图像的属性特征向量，所述属性特征提取模型通过如下步骤得到：

建立属性特征提取基础模型，所述属性特征提取基础模型包括变更后的SSD网络、先验框模块和列向量最大化模块；

所述变更后的SSD网络以Resnet-50残差结构代替SSD网络的前置网络后得到；所述变更后的SSD网络包括特征提取层，所述特征提取层用于对输入图像进行特征映射获得特征图；

所述先验框模块，用于基于不同的特征图，设置不同尺寸的先验框，利用设置的所述不同尺寸的先验框获得对应特征图的属性检测矩阵；

所述列向量最大化模块，用于对所述属性检测矩阵进行列向量最大化，得到属性特征向量；

输入训练图像对建立的所述基础模型进行训练，得到所述属性特征提取模型。

进一步，所述先验框的尺寸计算公式为：

其中，S_k为先验框相对于图像所占的比例，S_min和S_max分别为先验框相对于图像所占比例的最大值和最小值，n为特征图的个数。