[发明专利]图像描述的方法及装置、图像描述模型的训练方法及装置

说明书

本申请提供了图像描述的方法及装置、图像描述模型的训练方法及装置，其中图像描述的方法包括：对目标图像提取图像特征；将图像特征进行标签提取，生成对应的图像标签；将目标图像的图像特征和图像标签输入至图像描述模型的编码器，生成目标图像对应的特征矩阵；将特征矩阵输入至图像描述模型的解码器进行解码，得到目标图像对应的图像描述语句，从而使图像描述模型在图像描述语句的过程中，能够根据具体可靠的图像标签的信息为参考，使生成的图像描述语句包含更多的关键信息，提高图像描述语句的准确性和可靠性；并且由于在图像描述语句的生成阶段根据可靠的图像标签作为指导，减少了冗余数据的生成。

技术领域

本申请涉及图像处理技术领域，特别涉及一种图像描述的方法及装置、图像描述模型的训练方法及装置、计算设备和计算机可读存储介质。

背景技术

图像描述，其目的是从图像中自动生成一段描述性文字，即看图说话。图像描述的过程不仅要能检测出图像中的物体，而且要理解物体之间的相互关系，最后还要用合理的语言表达出来。

目前，图像描述任务中图像的信息主要采用卷积神经网络模型提取的特征(Feature map)或者是目标检测模型检测到具体目标的特征表示。这些信息都是以矩阵的形式存在，因此对同一个关键信息的表示可能不一样，如：同样是汽车，由于停放的位置或者停放的角度不一样，使得利用卷积神经网络模型和目标检测模型提取的特征表示不一样，这会增加信息的冗余和不可靠。

综上，目前的图像描述任务生成图像的描述信息主要是依赖于对图像本身进行特征提取，并根据提取的特征生成图像描述信息。在对图像进行特征提取后，由于图像特征的冗余特性，导致最终生成图像的关键描述信息出现偏差甚至生成错误的图像描述信息。

发明内容

有鉴于此，本申请实施例提供了一种图像描述的方法及装置、图像描述模型的训练方法及装置、计算设备和计算机可读存储介质，以解决现有技术中存在的技术缺陷。

本申请实施例提供了一种图像描述的方法，用于图像描述模型，所述方法包括：

对目标图像提取图像特征；

将所述图像特征进行标签提取，生成对应的图像标签；

将所述目标图像的图像特征和图像标签输入至图像描述模型的编码器，生成所述目标图像对应的特征矩阵；

将所述特征矩阵输入至图像描述模型的解码器进行解码，得到目标图像对应的图像描述语句。

可选地，将所述图像特征进行标签提取，生成对应的图像标签，包括：

将所述图像特征输入至多标签分类模型进行标签提取，生成至少一个对应的图像标签。

可选地，所述编码器包括一个编码层；

将所述目标图像的图像特征和图像标签输入至图像描述模型的编码器，生成所述目标图像对应的特征矩阵，包括：

将所述目标图像的图像特征和图像标签分别进行预处理，生成预处理图像特征和标签向量；

将预处理图像特征和标签向量输入至所述编码层，并将所述编码层的输出特征作为所述目标图像对应的特征矩阵。

可选地，所述编码器包括顺次连接的N个编码层；

将所述目标图像的图像特征和图像标签输入至图像描述模型的编码器，生成所述目标图像对应的特征矩阵，包括：

S11、将所述目标图像的图像特征和图像标签分别进行特征处理，生成预处理图像特征和标签向量；

S12、将预处理图像特征和标签特征输入至第一个编码层，得到第一个编码层的输出特征；

S13、将第i-1个编码层的输出特征和标签向量输入至第i个编码层，得到第i个编码层的输出特征；