[发明专利]一种多模态融合场景图生成方法、系统、设备和介质

说明书

本发明提供一种多模态融合场景图生成方法、系统、设备和介质，将给定图片生成图像场景图；对给定图片中的文字语义描述生成并转换为语义场景图；基于图像场景图和语义场景图节点的相似度程度将其对齐并生成融合的目标场景图；利用两个场景图的优势实现互补，得到覆盖更全面、交互信息更精确的高质量场景图；基于图像生成场景图的方法能够全面捕捉到图像中的目标，获得简单的位置关系或常见的交互关系；基于语义描述生成场景图的方法包含关键目标的交互信息，获得更精准的交互信息；利用语义场景图包含高级交互关系的特点，解决在场景图生成任务中数据集存在长尾分布、高级语义交互关系出现频次少的问题。

技术领域

本发明属于计算机视觉技术领域，具体涉及一种多模态融合场景图生成方法、系统、设备和介质

背景技术

场景图可以表示出图像中的物体及其交互关系，它以图结构的形式展示图像信息，节点代表目标物体的类别，有向边代表物体间的交互关系。由图像直接生成场景图是指不使用外部信息，仅以图像作为输入。在探索图像信息时发现上下文信息对场景图的生成至关重要。但是现有技术中的场景图存在局部信息的不完整性，其一般采用对图像的全局上下文信息建模，一般有两种建模方式，一种是基于带有记忆网络的RNN，另一种是使用图神经网络计算各节点之间的交互关系，以此来预测物体以及交互关系的标签。

图像生成场景图(ISG)，能够全面捕捉到图像中的目标，但只能够获得简单的位置关系或者常见的交互关系。现阶段目标间的关系预测存在很严重的长尾问题，图像中的目标交互关系通常被预测为简单的位置关系，比如“on”、“beside”、“under”等，或者被预测为最常见的从属关系，比如“has”、“of”等。

发明内容

针对现有技术中存在的问题，本发明提供一种多模态融合场景图生成方法、系统、设备和介质，能够准确的生成场景图。

本发明是通过以下技术方案来实现：

一种多模态融合场景图生成方法，其特征在于，包括以下步骤：

S1：对给定图片进行目标识别得到目标特征以及子图特征，根据目标特征和子图特征推理关系类别，生成图像场景图；

S2：对给定图片中的文字语义描述生成依赖树得到语义图，将语义图转换为语义场景图；

S3：基于图像场景图和语义场景图节点的相似度程度将其进行对齐；

S4：使用GGNN在对齐后的图像场景图和语义场景图之间的节点间传递消息，将每个节点输入进一个完全连接网络，计算每个节点的输出信息，对图像场景图中的每个节点聚合语义场景图的传入信息以及本图的传入信息，得到每个节点的聚合信息，生成融合的目标场景图。

进一步，所述步骤S1中对给定图片目标识别包括以下步骤：

使用区域建议网络对给定图片进行识别得到N个目标，且目标区域建议为：

f_RPN(I)＝{o₀,o₁,…,o_N-1}；

其中，f_RPN(·)为RPN模块，o_i为检测出的第i个目标，由一个边界框b_i表示，b_i＝[x_i,y_i,w_i,h_i]；边界框由4个元素组成，(x_i,y_i)为其左上顶点的坐标， w_i和h_i分别表示边界框的宽和高；

将N个目标两两结合组成短语区域建议，产生N(N-1)个对象对，这些短语区域建议用有向边完全连接生成关系图；