[发明专利]一种图像描述文本生成方法及装置

权利要求书

1.一种图像描述文本生成方法，其特征在于，所述方法包括：

检测待描述图像中目标所在的目标区域；

计算各个目标区域中相同位置的像素点的平均像素值，得到包含各平均像素值的区域特征；

基于长短时记忆LSTM特征提取方式，对第一输入信息进行特征提取，得到第一隐藏特征；基于所述目标区域的特征和所述第一隐藏特征，生成各目标区域的权重系数；基于所生成的权重系数，对各个目标区域中相同位置的像素点的像素值进行加权计算，得到第一输出信息，其中，所述第一输入信息的初始值为：所述区域特征；

确定第二输入信息为包含所述第一隐藏特征、第一输出信息和第二隐藏特征的信息，其中，所述第二隐藏特征的初始值为空特征；

基于所述LSTM特征提取方式，对所述第二输入信息进行特征提取，得到所述第二隐藏特征；基于所述第二隐藏特征，获得预设词汇表中输出概率最高的输出单词；

将所述第一输入信息更新为包含所述第一隐藏特征、已获得的输出单词和所述区域特征的信息，并返回所述基于长短时记忆LSTM特征提取方式，对第一输入信息进行特征提取，得到第一隐藏特征的步骤，直至包含已获得的输出单词的输出文本满足预设的输出结束条件，则将所述输出文本确定为图像描述文本。

2.根据权利要求1所述的方法，其特征在于，所述检测待描述图像中目标所在的目标区域，包括：

对待描述图像进行多层卷积变换，得到特征图像；

确定所述特征图像中包含目标的特征的候选区域；

将所述待描述图像中与所述候选区域相对应的区域确定为所述待描述图像中目标所在的目标区域。

3.根据权利要求2所述的方法，其特征在于，所述将所述待描述图像中与所述候选区域相对应的区域确定为所述待描述图像中目标所在的目标区域，包括：

对所述候选区域进行区域缩放处理，得到第一预设尺寸的第一区域；

对所述第一区域进行最大池化处理，得到第二预设尺寸的第二区域，并将所述待描述图像中与所述第二区域相对应的区域确定为所述待描述图像中目标所在的目标区域。

4.根据权利要求1所述的方法，其特征在于，所述基于长短时记忆LSTM特征提取方式，对第一输入信息进行特征提取，得到第一隐藏特征；基于所述目标区域的特征和所述第一隐藏特征，生成各目标区域的权重系数；基于所生成的权重系数，对各个目标区域中相同位置的像素点的像素值进行加权计算，得到第一输出信息，包括：

将所述第一输入信息输入文本生成模型的第一子模型，得到所述第一隐藏特征和所述第一输出信息，其中，所述文本生成模型为预先训练得到的、用于生成图像描述文本的模型，所述文本生成模型包括：第一子模型和第二子模型，所述第一子模型为采用自顶向下的注意力机制的模型；

所述基于所述LSTM特征提取方式，对所述第二输入信息进行特征提取，得到第二隐藏特征；基于所述第二隐藏特征，获得预设词汇表中输出概率最高的输出单词，包括：

将所述第二输入信息输入所述第二子模型，得到所述第二隐藏特征和所述输出单词，其中，所述第二子模型为基于语言模型变换得到的模型，所述语言模型为用于根据模型输入信息预测模型输出文本中单词出现概率的模型。