[发明专利]一种基于多特征提取的图像语义描述方法及系统

权利要求书

1.一种基于多特征提取的图像语义描述方法，其特征在于，包括如下步骤：

将待语义描述的图像输入全局特征提取模型得到图像的全局特征向量；

提取所述图像的属性特征向量；其中，属性特征包括图像的轮廓、纹理与位置信息；

将所述全局特征向量和属性特征向量同时输入到双向长短时记忆网络，得到前向联合损失函数和后向联合损失函数；

对所述前向联合损失函数和后向联合损失函数累加求和，当所述和最小时，获得与所述图像最佳匹配的语义描述；

将所述全局特征和属性特征同时输入到双向长短时记忆网络，得到前向联合损失函数和后向联合损失函数，具体包括如下步骤：

基于所述全局特征向量和属性特征向量，获得预测单词；

将所述预测单词输入嵌入层得到预测单词向量x_t；

将所述预测单词向量x_t嵌入到文本LSTM，得到文本LSTM前向隐藏层序列和文本LSTM后向隐藏层序列

将所述文本LSTM前向隐藏层序列和文本LSTM后向隐藏层序列嵌入到多模态LSTM，得到多模态LSTM前向隐藏层序列和多模态LSTM后向隐藏层序列

基于所述多模态LSTM前向隐藏层序列和多模态LSTM后向隐藏层序列使用softmax函数得到最大概率对应的单词w_t；

基于所述最大概率对应的单词w_t得到前向联合损失函数和后向联合损失函数。

2.根据权利要求1所述的方法，其特征在于，将所述图像输入属性特征提取模型提取得到图像的属性特征向量，所述属性特征提取模型通过如下步骤得到：

建立属性特征提取基础模型，所述属性特征提取基础模型包括变更后的SSD网络、先验框模块和列向量最大化模块；

所述变更后的SSD网络以Resnet-50残差结构代替SSD网络的前置网络后得到；所述变更后的SSD网络包括特征提取层，所述特征提取层用于对输入图像进行特征映射获得特征图；

所述先验框模块，用于基于不同的特征图，设置不同尺寸的先验框，利用设置的所述不同尺寸的先验框获得对应特征图的属性检测矩阵；

所述列向量最大化模块，用于对所述属性检测矩阵进行列向量最大化，得到属性特征向量；

输入训练图像对建立的所述基础模型进行训练，得到所述属性特征提取模型。

3.根据权利要求2所述的方法，其特征在于，基于下述公式设置所述先验框的尺寸：

其中，S_k为先验框相对于图像所占的比例，S_min和S_max分别为先验框相对于图像所占比例的最大值和最小值，n为特征图的个数。

4.根据权利要求2或3所述的方法，其特征在于，所述将图像输入属性特征提取模型得到图像的属性特征向量，包括如下步骤：

将图像输入属性特征提取模型：

基于特征提取层，获得所述图像的特征图；

基于先验框，获得所述特征图的属性检测矩阵；

基于列向量最大化模块，获得属性特征向量。

5.根据权利要求1所述的方法，其特征在于，所述得到文本LSTM前向隐藏层序列和文本LSTM后向隐藏层序列包括如下步骤：

基于所述预测单词向量x_t得到前向句子和后向句子

对所述前向句子和后向句子编码，得到文本STM前向隐藏层序列和文本LSTM后向隐藏层序列