[发明专利]一种图像描述文本生成方法及装置

说明书

本发明实施例提供了一种图像描述文本生成方法及装置，涉及图像处理技术领域，上述方法包括：检测目标所在的目标区域；计算平均像素值，得到区域特征；对第一输入信息进行特征提取，得到第一隐藏特征；生成各目标区域的权重系数；对各个目标区域中相同位置的像素点的像素值进行加权计算得到第一输出信息；对第二输入信息进行特征提取，得到第二隐藏特征；获得预设词汇表中输出概率最高的输出单词；将第一输入信息更新为包含第一隐藏特征、已获得的输出单词和区域特征的信息，并返回得到第一隐藏特征的步骤，直至输出文本满足输出结束条件，将输出文本确定为图像描述文本。应用本发明实施例提供的方案能够提高生成图像描述文本的准确度。

技术领域

本发明涉及图像处理技术领域，特别是涉及一种图像描述文本生成方法及装置。

背景技术

图像描述文本是指对图像进行图文转换后所得到的用于描述图像中图像内容的文本。由于用户在查看图像时，可能难以理解图像的图像内容，将图像转化为图像描述文本有助于用户理解图像的图像内容。另外，针对存在视力障碍的用户，可以将图像转化为图像描述文本，然后以语音播放的形式播放图像描述文本，以帮助用户理解图像的图像内容。

现有技术中，主要采用LSTM(Long Short Term Memory，长短时记忆)算法对待描述图像进行图像描述，从而得到图像描述文本。利用LSTM算法进行图像描述的过程是循环过程，在每一次循环中均生成一个单词，当前循环的输入为待描述图像的图像信息以及之前循环中所有已生成的单词，循环结束后得到的图像描述文本包括所有已生成的单词。然而，循环过程中可能会随着时间推移出现图像信息损失，从而导致最终生成的图像描述文本所描述的内容与待描述图像的图像内容产生偏差，进而所生成图像描述文本的准确度较低。

发明内容

本发明实施例的目的在于提供一种图像描述文本生成方法及装置，以提高图像描述的准确度。具体技术方案如下：

第一方面，本发明实施例提供了一种图像描述文本生成方法，所述方法包括：

检测待描述图像中目标所在的目标区域；

计算各个目标区域中相同位置的像素点的平均像素值，得到包含各平均像素值的区域特征；

基于长短时记忆LSTM特征提取方式，对第一输入信息进行特征提取，得到第一隐藏特征；基于所述目标区域的特征和所述第一隐藏特征，生成各目标区域的权重系数；基于所生成的权重系数，对各个目标区域中相同位置的像素点的像素值进行加权计算，得到第一输出信息，其中，所述第一输入信息的初始值为：所述区域特征；

确定第二输入信息为包含所述第一隐藏特征、第一输出信息和第二隐藏特征的信息，其中，所述第二隐藏特征的初始值为空特征；

基于所述LSTM特征提取方式，对所述第二输入信息进行特征提取，得到所述第二隐藏特征；基于所述第二隐藏特征，获得预设词汇表中输出概率最高的输出单词；

将所述第一输入信息更新为包含所述第一隐藏特征、已获得的输出单词和所述区域特征的信息，并返回所述基于长短时记忆LSTM特征提取方式，对第一输入信息进行特征提取，得到第一隐藏特征的步骤，直至包含已获得的输出单词的输出文本满足预设的输出结束条件，则将所述输出文本确定为图像描述文本。

第二方面，本发明实施例提供了一种图像描述文本生成装置，所述装置包括：

目标检测模块，用于检测待描述图像中目标所在的目标区域；

均值计算模块，用于计算各个目标区域中相同位置的像素点的平均像素值，得到包含各平均像素值的区域特征；