[发明专利]一种生成描述图像内容的自然语言的方法与系统

权利要求书

1.一种训练用于生成描述图像内容的自然语言的模型的方法，包括：

A1)将图像训练集中图像的全局特征以及局部特征作为注意力机制的输入，以获得同时包含全局特征以及局部特征的融合的结果；

A2)将所述融合的结果和单词训练集作为长短记忆网络的输入，利用损失函数对所述注意力机制以及所述长短记忆网络进行训练，获得所述注意力机制的权值以及所述长短记忆网络的权值；

其中，所述损失函数是已知图像的内容、以及描述所述图像内容的自然语句中前一个或多个单词时第i个单词的条件概率的函数，i＝1,…i_max。

2.根据权利要求1所述的方法，其中步骤A1)包括：

在所述注意力机制执行融合的过程中，分别基于所述注意力机制的权值，为图像训练集中图像的全局特征以及局部特征中的每一个提供权重，以将执行加权后的结果作为所述融合的结果。

3.根据权利要求2所述的方法，其中步骤A1)包括：

采用所述注意力机制的权值，为图像训练集中图像的全局特征以及局部特征中的每一个提供权重，所述同时包含全局特征以及局部特征的结果表示为：

其中，W,W_h,W_o,b是所述注意力机制的权值，是激活函数，h^(t-1)是训练的t-1时刻所述长短记忆网络的隐藏层值，f_k为所述全局特征以及所述局部特征的集合中的第k个特征，表示所述第k个特征与h^(t-1)的相关度，表示针对所述第k个特征提供的权重，Gf表示所述全局特征，Lf_j表示第j个局部特征，ψ^(t)(I)是训练的t个时刻融合获得的同时包含全局特征以及局部特征的结果。

4.根据权利要求1所述的方法，其中所述损失函数为：

p(s_i|I,s₀,s₁,...,s_i-1)＝soft max(w_ph_i)

其中，m是单词总数，s_i是描述所述图像训练集中图像I的内容的第i个单词，s₀,...,s_i均为所述单词训练集中的单词，p(s_i|I,s₀,s₁,...,s_i-1)是已知描述图像I的内容、以及描述所述图像I的内容的自然语句中的前i-1个单词时第i个单词为s_i的条件概率，w_p是所述长短记忆网络中输入到softmax的隐藏层的权值，h_i是计算第i个单词时所述长短记忆网络的隐藏层值。

5.根据权利要求1所述的方法，其中步骤A2)包括：

针对所述损失函数采用梯度下降法进行训练。

6.根据权利要求1-5中任意一项所述的方法，其中所述长短记忆网络包含多个LSTM网络层，所述多个LSTM网络层中的一个以所述融合的结果作为其输入，所述多个LSTM网络层中的一个以单词训练集作为其输入。

7.一种生成的模型生成描述图像内容的自然语言的方法，包括：

B1)将待描述的测试图像的全局特征以及局部特征作为注意力机制的输入，以获得同时包含全局特征以及局部特征的融合的结果；

B2)将所述融合的结果作为长短记忆网络的输入，输出描述所述测试图像的自然语言；

其中，所述注意力机制的权值、以及所述长短记忆网络的权值由权利要求1-6中任意一项所述方法确定。