[发明专利]融合视觉注意力和语义注意力的图像字幕生成方法及系统

权利要求书

1.一种融合视觉注意力和语义注意力的图像字幕生成方法，其特征是，包括：

步骤(1)：通过卷积神经网络从每个待生成字幕的图像中提取图像特征，得到图像特征集合；

步骤(2)：建立LSTM模型，将每个待生成字幕的图像对应的预先标注文本描述传入LSTM模型，得到时序信息；

步骤(3)：结合步骤(1)的图像特征集合和步骤(2)的时序信息，生成视觉注意力模型；

步骤(4)：结合步骤(1)的图像特征集合、步骤(2)的时序信息和前一时序的单词，生成语义注意力模型；

步骤(5)：根据步骤(3)的视觉注意力模型和步骤(4)的语义注意力模型，生成自动平衡策略模型；

步骤(6)：根据步骤(1)的图像特征集合和待生成字幕的图像对应的预先标注文本描述，建立gLSTM模型；

步骤(7)：根据步骤(6)建立的gLSTM模型和步骤(5)的自动平衡策略模型，利用多层感知机模型MLP生成待生成字幕的图像对应的单词；

步骤(8)：重复步骤(2)-(7)，直到检测到停止标识，将得到的所有单词进行串联组合，产生字幕。

2.如权利要求1所述的一种融合视觉注意力和语义注意力的图像字幕生成方法，其特征是，所述步骤(2)中LSTM模型为：

其中，代表长短期记忆网络LSTM在t时刻的隐藏状态，x_t表示t时刻输入的文字矩阵，其维度为[2048,512],代表长短期记忆网络LSTM在t-1时刻的隐藏状态，而代表t-1时刻的细胞状态。

3.如权利要求2所述的一种融合视觉注意力和语义注意力的图像字幕生成方法，其特征是，所述步骤(3)的视觉注意力模型是：

其中，softmax表示逻辑回归分类函数，V代表通过卷积神经网络VGG模型提取的特征，其维度为[2048,49],tanh代表双曲正切非线性函数，代表视觉注意力向量，维度为[49]，视觉注意力向量中的数字代表看向对应图像特征V区域的概率，数字总和为1，代表视觉注意力模型上下文矩阵，维度为[512,49]。

4.如权利要求3所述的一种融合视觉注意力和语义注意力的图像字幕生成方法，其特征是，所述步骤(4)的语义注意力模型是：

其中，W_t-1代表t-1时刻生成单词所转化的矩阵，其维度为[2048,512]，V′_t为加权语义信息后的特征向量矩阵，softmax表示逻辑回归分类函数，tanh代表神经网络结构中的双曲正切非线性函数，代表语义注意力向量，其维度为[49],向量中的数字代表看向对应图像特征V′_t区域的概率，数字总和为1，代表语义注意力模型上下文矩阵，其维度为[512,49]。

5.如权利要求4所述的一种融合视觉注意力和语义注意力的图像字幕生成方法，其特征是，所述步骤(5)的公式为：

其中，σ^ν代表视觉注意力向量的变异系数，σ^s代表语义注意力向量的变异系数，所述变异系数用来衡量向量的离散程度，视觉注意力向量和语义注意力向量的长度均为N，β代表自我平衡模型的权重系数，用来给视觉注意力模型上下文矩阵和语义注意力模型上下文矩阵分配权重；c_t代表自动平衡策略模型的上下文矩阵。

6.如权利要求5所述的一种融合视觉注意力和语义注意力的图像字幕生成方法，其特征是，所述步骤(6)的gLSTM模型为：

其中，代表gLSTM模型在t时刻的隐藏状态，表示当前时刻传入gLSTM的文字矩阵，其维度为[2048,512],代表gLSTM在t-1时刻的隐藏状态，而代表gLSTM在t-1时刻的细胞状态。

7.如权利要求6所述的一种融合视觉注意力和语义注意力的图像字幕生成方法，其特征是，所述步骤(7)中：

其中，MLP为多层感知机模型，word^t表示单词。