[发明专利]一种联合问答的图像自然语言描述方法

摘要

一种联合问答的图像自然语言描述方法，包括三个步骤：步骤一，首先使用图像分割模型对图像目标和图像背景的特征进行提取，得到像素级的不同类别的划分，获取目标和背景的分割特征图；步骤二，问题生成模块通过构建隐式的场景类型表征，产生包含关注目标信息的关系特征图，多粒度地生成若干个语义相关的引导问题；步骤三，联合问答模块引入对比学习的损失函数，对关系特征图和引导问题进行联合多模态嵌入表征，该模型通过训练，能生成问题相关的长文本回答，作为图像内容的精细化语义描述。