[发明专利]一种基于多模态知识图谱的图像场景检索系统及方法

权利要求书

1.一种基于多模态知识图谱的图像场景检索系统，通过用户界面输入检索信息并获取检索结果，其特征在于，包括：

场景采集模块，设置为采集若干包含不同目标对象的图像场景；

场景解析模块，设置为对所述场景采集模块采集的图像进行场景理解，得到不同目标对象及其之间的关系；包括：

目标检测子模块，设置为利用目标检测算法得出图像特征，并框出图像中所包含的目标对象；

关系推理子模块，设置为将所述图像特征输入至选定的神经网络模型，推测出所述目标对象之间存在的交互关系；

多模态数据管理模块，设置为对所述目标对象及其之间的关系进行存储与查询；包括：

多模态图谱生成子模块，设置为将每个图像场景及其多模态信息存储至知识图谱的同一节点，并将每个目标对象及其多模态信息存储至知识图谱的同一节点，将存储场景信息的节点和存储目标对象信息的节点之间的关系存储至知识图谱中对应节点的边；

数据管理子模块，设置为数据库操作接口，将所述知识图谱中的信息插入数据库，根据所述检索信息，从数据库中获取相应信息，并将该信息存储在所述数据交换文件返回至用户界面；

检索交互模块，设置为从所述检索信息提取关键词，并从所述多模态数据管理模块获取与所述关键词对应的节点信息，最后创建数据交换文件返回给用户界面。

2.根据权利要求1所述的基于多模态知识图谱的图像场景检索系统，其特征在于，所述场景采集模块设置为通过数据爬取或相机模组采集所述图像场景。

3.根据权利要求1所述的基于多模态知识图谱的图像场景检索系统，其特征在于，所述所述图像特征包括目标边界框、目标边界框的坐标信息以及识别的目标类别。

4.根据权利要求1所述的基于多模态知识图谱的图像场景检索系统，其特征在于，所述多模态融合子模块设置为存储图像场景时，将节点标签值设为图像场景，节点中存放对应图像场景原图的二进制流或者图片地址、该图像场景在知识图谱系统中的唯一id、图像尺寸信息、包含的目标对象数目、场景描述以及与图像场景相关的其他模态信息；存储目标对象时，将节点标签值设为目标对象，节点中存放对应目标对象在图像场景中截图的二进制流或者图片地址、该目标对象在知识图谱系统中的唯一id、截图尺寸信息、目标类别、所属图像场景的id以及在图像场景中对应的实例编号。

5.根据权利要求1所述的基于多模态知识图谱的图像场景检索系统，其特征在于，所述数据交换文件设置为存储不同节点在知识图谱中的唯一id以及不同节点id之间的对应关系。

6.一种基于多模态知识图谱的图像场景检索方法，其特征在于，搭建如权利要求1所述的基于多模态知识图谱的图像场景检索系统，包括：

步骤S200，接收检索请求并分析检索信息的类型；若检索信息为普通文本字符串，则进入步骤S201；若检索信息包含图像信息，则进入步骤S202；

步骤S201，对普通文本字符串进行分析，提取关键词，根据关键词对数据库进行检索，返回对应的节点信息；

步骤S202，利用所述场景解析模块提取检索信息中的相应场景、目标对象或其之间的关系信息，在所述数据库中检索存储的多模态信息，返回对应的节点信息；

步骤S203，依据关键词检索数据转换文件中的场景名称、目标类别名以及目标对象之间的关系，并返回符合检索要求的节点信息；

步骤S204，按照检索结果，通过所述检索交互模块生成数据交换文件，并将其返回至用户界面。

7.根据权利要求6所述的基于多模态知识图谱的图像场景检索方法，其特征在于，所述步骤S201包括：

步骤S2011，对输入的普通文本字符串进行分词和词性标注，提取词性标注为名词的词干作为图像场景名和目标对象名，提取词性标注为介词的词干作为目标对象之间的关系；

步骤S2012，基于本体知识库对提取的词干进行相似度计算，选取与提取的词干相似的若干候选同义词，将选取的候选同义词和提取的词干作为待检索的关键词。