[发明专利]一种图像描述方法、装置、设备、存储介质

权利要求书

1.一种图像描述方法，其特征在于，包括：

提取待描述图像的图像特征图和掩膜信息；

对所述图像特征图和所述掩膜信息进行降维，以得到目标图像特征图以及作为位置编码的目标掩膜信息；

利用预设编码器对所述目标图像特征图进行图像编码，以得到相应的图像特征图编码结果；

利用预设文本提取器，从预先编码的文本中提取文本信息，并将所述文本信息、所述目标掩膜信息和所述图像特征图编码结果输入预设解码器中，以生成所述待描述图像对应的文本。

2.根据权利要求1所述的图像描述方法，其特征在于，所述提取待描述图像的图像特征图和掩膜信息，包括：

基于全景分割算法对待描述图像的图像特征图中的前景目标与背景进行特征提取，以得到所述前景目标与所述背景之间的关联性、不同所述前景目标之间的关联性以及掩膜信息；

相应的，所述利用预设编码器对所述目标图像特征图进行图像编码，以得到相应的图像特征图编码结果，包括：

利用所述预设编码器对所述前景目标与所述背景之间的关联性和不同所述前景目标之间的关联性进行处理，以得到相应的图像特征图编码结果。

3.根据权利要求1所述的图像描述方法，其特征在于，所述对所述图像特征图和所述掩膜信息进行降维，以得到目标图像特征图以及作为位置编码的目标掩膜信息，包括：

将所述图像特征图和所述掩膜信息输入预设下采样模块中，以得到降维后的目标图像特征图以及作为位置编码的目标掩膜信息。

4.根据权利要求1所述的图像描述方法，其特征在于，所述预设编码器包括依次连接的第一LN归一化层、第一多头自注意力机制、第一IN归一化层、第一FFN层、第二IN归一化层；相应的，所述利用预设编码器对所述目标图像特征图进行图像编码，以得到相应的图像特征图编码结果，包括：

基于所述第一LN归一化层对所述目标图像特征图中的所有目标图像特征进行归一化处理，以得到归一化目标图像特征；

利用所述第一多头自注意力机制和所述第一IN归一化层对所述归一化目标图像特征进行特征计算并归一化处理，以得到归一化目标图像特征之间的关系；

利用所述第一FFN层和所述第二IN归一化层对所述归一化目标图像特征之间的关系进行处理，以得到相应的图像特征图编码结果。

5.根据权利要求4所述的图像描述方法，其特征在于，所述利用预设编码器对所述目标图像特征图进行图像编码，以得到相应的图像特征图编码结果，包括：

基于预设编码次数针对所述目标图像特征图进行多次编码，以生成相应的图像特征图编码结果。

6.根据权利要求1所述的图像描述方法，其特征在于，所述将所述文本信息、所述目标掩膜信息和所述图像特征图编码结果输入预设解码器中，以生成所述待描述图像对应的文本，包括：

将所述目标掩膜信息和所述图像特征图编码结果进行拼接，以得到相应的拼接信息，然后将所述拼接信息与所述文本信息输入预设解码器中，以生成所述待描述图像对应的文本描述。

7.根据权利要求6所述的图像描述方法，其特征在于，所述预设解码器包括依次连接的第二多头自注意力机制、第二LN归一化层、第三多头自注意力机制、第三LN归一化层、第二FFN层、第四LN归一化层；其中，所述将所述拼接信息与所述文本信息输入预设解码器中，以生成所述待描述图像对应的文本描述，包括：

利用预设文本提取器从预先编码的文本中提取文本信息，并将所述文本信息输入所述第二多头自注意力机制、所述第二LN归一化层，以得到归一化文本信息；

利用所述第三多头自注意力机制、所述第三LN归一化层、所述第二FFN层、所述第四LN归一化层对所述拼接信息与所述归一化文本信息进行处理，以得到与所述图像特征图中的不同前景目标和背景的对应文本特征；

利用全连接层对与所述图像特征图对应的所述文本特征进行全局提取，以得到所述图像特征图对应的全局的文本特征，并将所述全局的文本特征输入所述Softmax函数中以得到所述待描述图像对应的文本分数，并根据所述文本分数找到对应的文本，以生成所述待描述图像对应的文本。