[发明专利]一种基于多模态知识图谱的图像场景检索系统及方法

说明书

本发明涉及一种基于多模态知识图谱的图像场景检索系统，通过用户界面输入检索信息并获取检索结果，包括：场景采集模块，设置为采集若干包含不同目标对象的图像场景；场景解析模块，设置为对采集的图像进行场景理解，得到不同目标对象及其之间的关系；多模态数据管理模块，设置为对目标对象及其之间的关系进行存储与查询；检索交互模块，设置为从检索信息提取关键词，并获取与关键词对应的节点信息，最后创建数据交换文件返回用户界面。本发明还提供一种基于多模态知识图谱的图像场景检索方法，能够降低存储涉及多幅图像场景结果的难度，简单直观且全面地展示出目标对象及其之间的关系。同时，本发明提高检索的准确性和场景检索的效率。

技术领域

本发明涉及知识图谱、场景理解和信息检索领域，更具体地涉及一种基于多模态知识图谱的图像场景检索系统及方法。

背景技术

在场景理解的任务中，尽管图像中的目标对象是构建场景图的基石，但往往决定整体解释的核心关键还是对象之间的关系。关系推理作为场景理解中一项非常具有挑战性的任务，它不仅涉及检测低级实体(即目标对象)，而且还要能够识别出它们之间的高级交互作用(例如空间关系、动作、大小等)。了解不同关系类型的多样性不仅能够建立更丰富的问答模型，而且还有助于改善图像检索、场景图解析、场景图描述以及许多其他视觉推理任务。

信息检索领域从20世纪50年代开始，其处理的主要焦点一直是有结构的文本。根据用户的需求，通过一些方法从按照一定组织存储起来的信息集合中找出相关信息。随着多媒体技术的发展，信息检索的应用中逐渐包含了带有结构的多模态信息，比如音频、图像等。由于这些信息的内容难以直接描述且结构不易，目前搜索非文本文档的成熟技术还是依赖于对它们的文本描述，而不是多模态信息的内容本身，这就使得图像场景检索的准确性不高。同时，目前的系统无法满足多个物体在同一个场景中的搜索，使得检索效率低下。

知识图谱(Knowledge Graph)，在图书情报界称为知识域可视化或知识领域映射地图，是显示知识发展进程与结构关系的一系列各种不同的图形，用可视化技术描述知识资源及其载体，挖掘、分析、构建、绘制和显示知识及它们之间的相互联系。知识图谱从本质上来说是一种用来存储不同实体及其之间关系的大型结构化语义知识库，其中实体和关系可以根据需求自行定义，并且通过相应手段还能实现其基于图结构网络的可视化。

发明内容

因此，本发明提供一种基于多模态知识图谱的图像场景检索系统及方法，通过将图像的场景理解结果与对应的其他模态信息进行融合而对当前场景进行更全面的描述，并使用知识图谱存储基于图像场景的相关信息，以更加准确、高效、快速地完成图像场景检索任务。

基于此，本发明提供一种基于多模态知识图谱的图像场景检索系统，包括一种基于多模态知识图谱的图像场景检索系统，通过用户界面输入检索信息并获取检索结果，包括：

场景采集模块，设置为采集若干包含不同目标对象的图像场景。

场景解析模块，设置为对所述场景采集模块采集的图像进行场景理解，得到不同目标对象及其之间的关系。

多模态数据管理模块，设置为对所述目标对象及其之间的关系进行存储与查询。

检索交互模块，设置为从所述检索信息提取关键词，并从所述多模态数据管理模块获取与所述关键词对应的节点信息，最后创建数据交换文件返回给用户界面。

所述场景采集模块设置为通过数据爬取或相机模组采集所述图像场景。

所述场景解析模块包括：

目标检测子模块，设置为利用目标检测算法得出图像中的目标对象特征，并框出图像中所包含的目标对象。

关系推理子模块，设置为将所述图像特征输入至选定的神经网络模型，推测出所述目标对象之间存在的谓词关系。

所述目标对象特征包括目标对象边界框、目标对象边界框的坐标信息以及识别的目标对象类别。