[发明专利]一种联合问答的图像自然语言描述方法

权利要求书

1.一种联合问答的图像自然语言描述方法，其特征在于，包括三个步骤：

步骤一，首先使用图像分割模型对图像目标和图像背景的特征进行提取，得到像素级的不同类别的划分，获取目标和背景的分割特征图；

步骤二，问题生成模块通过构建隐式的场景类型表征，产生包含关注目标信息的关系特征图，多粒度地生成若干个语义相关的引导问题；

步骤三，联合问答模块引入对比学习的损失函数，对关系特征图和引导问题进行联合多模态嵌入表征，该模型通过训练，生成问题相关的长文本回答，作为图像内容的精细化语义描述。

2.如权利要求1所述的描述方法，其特征在于：

针对步骤二，以LSTM模型为基础的问题生成模型，对分割特征图进行处理，通过构建隐式的场景类型表征，先产生包含关注目标信息的关系特征图，随后以关注目标为中心，多尺度地建立与图像关注目标之间、关注目标和背景之间的联系，生成的多粒度引导问题即作为后续联合问答中的一环。

3.如权利要求1所述的描述方法，其特征在于：

针对步骤三，以BUTD模型为基础的联合问答模型，引入了对比学习的损失函数，联合关系特征图和引导问题，提高模型跨模态的学习能力，增强模型对图像和问题答案之间语义联系的理解，生成图像内容的精细化描述。

4.如权利要求1所述的描述方法，其特征在于：

步骤一：图像分割

1.1利用现已公开的图像语义分割数据集，其中的批量图像均有像素级的类别标注；

1.2使用深度学习方法对图像分割数据集进行训练，构造图像分割神经网络模型；图像分割的任务是给图像进行稠密预测，通过对不同目标以特定颜色进行标注，让每个像素点都有其所属的目标或者封闭区域的类别；

1.3将训练好的图像分割神经网络的模型权重保存，该网络模型可对原始图像进行处理，区分图像中不同的目标和背景，最终输出目标间、目标与背景间的分割特征图。

5.如权利要求1或2所述的描述方法，其特征在于：

步骤二：问题生成

2.1处理现已公开的视觉问题生成数据集，对数据集中的问题范畴进行分类，不同的问题范畴多角度地看待目标及其之间的联系，同一图像的多个问题范畴不仅关注着不同的目标，也关注着相同目标不同尺度的图像区域；同时，对数据集的回答和问题做合并处理，生成一句完整的自然语言描述；

2.2使用深度学习方法对处理后的视觉问题生成数据集进行训练，构造问题生成神经网络模型；问题生成模型构建隐式的场景类型表征，初步产生包含关注目标信息的关系特征图，随后以关注目标为中心，学习问题范畴和图像不同粒度区域之间的相关性，多尺度地生成与关注目标上下文相关的不同问题。

6.如权利要求1或3所述的描述方法，其特征在于：

步骤三：联合问答

3.1整合图像分割模块、问题生成模块和联合问答模块，以引导问题作为上下文，使用自上而下的注意力机制进行学习，引入对比学习的损失函数，对引导问题和关系特征图进行联合多模态嵌入表征；根据训练好的网络，给出候选答案及其置信度，生成图像内容的自然语言描述。

7.如权利要求5所述的描述方法，其特征在于：

问题生成神经网络模型的损失函数如下所示：

其中，是模型生成的问题向量，q_i是数据集中真实的问题向量，u表示预测的关系权重值，为正数。

8.如权利要求5所述的描述方法，其特征在于：

联合嵌入的损失函数为对比损失：

其中，y_T表示正确匹配的问题特征向量q和分割特征图v的输出结果。