[发明专利]一种基于充足视觉信息与文本信息的图像描述方法

权利要求书

1.一种基于充足视觉信息与文本信息的图像描述方法，其特征在于，包括以下步骤：

步骤一，输入图像和对应的文本描述语句；

步骤二，提取图像中包含的视觉特征信息，利用注意力机制生成对应的注意力结果，并且将前两个时刻的注意力值与当前的隐含层状态结合在一起作为当前输入；生成对应的注意力结果的具体方法如下：

将当前区域的隐藏状态h_t与内置图像的注意力att_t-1和att_t-2相串联，作为注意力函数f_att的输入，则得到新的注意力结果att_t表示为：

att_t＝f_att(V，h_t*att_t-1*att_t-2)

其中*表示串联，h_t*att_t-1*att_t-2可以表示成H_t，H_t为文本信息中不同特征向量v_i的重要性；

步骤三，对图像特征进行多次预测生成多个预测单词和对应的预测概率；

充足的文本信息模块采用多次预测y′_t+1、y′_t+2和y′_t+3的方法来缓解误差累积的问题，同时传递更加充分的文本信息，充足的文本信息模块中输入信息为隐含状态和视觉特征V，利用注意力模块得到并一起输入LSTM2，将注意力函数表示为f_att，将LSTM2的数学运算表示为F2，将串联运算表示为*，则的计算公式如下：

其中是LSTM2输出的隐藏状态，将输入逻辑回归层并得到y′_t+1的概率将的逻辑回归层表示为logit1，并计算

随着训练的进行，会得到生成单词y_t+1的更加精确的信息，因此将视为y_t+1的特殊输入，并且通过历史信息和预测下一个单词，在充足的文本信息模块中，除了输入逻辑回归层之外，还经过注意力模块和LSTM2并预测注意力模块和LSTM2与使用相同的操作，与原始方法的主要区别在于，将LSTM2的隐藏状态更新为而将用于然后通过以下方式生成

将连接到另一个逻辑回归层logit2，以预测y′_t+2的概率具体公式为：

利用生成y′_t+2的方法生成y′_t+3，以及它所对应的隐藏状态和概率具体公式如下：

步骤四，对预测单词和预测概率进行推理，得到准确的预测单词；

步骤五，将所有准确的预测单词结合在一起，生成的图像最终的描述语句。

2.根据权利要求1所述的一种基于充足视觉信息与文本信息的图像描述方法，其特征在于，步骤四的具体方法如下：

损失loss平等的对所有预测的概率进行处理，并将所有预测概率结合在一起，预测下一个单词；

损失loss的函数为：

loss＝loss₁+loss₂+loss₃

通过下式将所有预测概率结合在一起：

其中由计算而得，由计算得到，由计算得到，λ₁和λ₂是权衡系数用来平衡和