[发明专利]一种适用图文知识图谱的关系抽取方法

摘要

本发明公开了一种适用图文知识图谱的关系抽取方法及系统，属于信息处理领域。该方法的特征包括：首先物体检测系统得到物体集合以及视觉短语特征，再同时分别经过视觉短语系统和翻译嵌入系统得到图像视觉特征和图像语义特征，最终经过分类器得到图像中的关系预测。本发明通过结合知识图谱与图像信息，解决图文知识图谱的关系抽取问题。 1

主权项

1.一种适用图文知识图谱的关系抽取方法，其特征在于，所诉的方法包含以下的结构和步骤：

(1)物体检测系统得到物体集合以及视觉短语特征：对输入的图像进行处理，得到图像中所有物体集合，并且将物体经过神经网络的特征输出作以及视觉短语特征；

(2)视觉短语系统得到图像视觉特征：对步骤(1)得到的物体集合以及视觉短语特征进行处理，得到包含物体关系的视觉短语，计算得到预测关系的得分；

(3)翻译嵌入系统得到图像语义特征：对步骤(1)得到的物体集合以及视觉短语特征使用词向量进行处理，并且映射到相应的关系空间中得到图像中的语义信息，计算得到语义的关系得分；

(4)使用分类器得到图像中的对象关系：对步骤(2)和步骤(3)的输出进行处理，输入分类器得到图像中的关系。

2.如权利要求1所述的方法，其特征在于，所述步骤(1)具体包括：

(1.1)将图像输入网络得到图像特征图；

(1.2)使用RPN(region proposal network)网络处理特征图，得到图像感兴趣的区域；

(1.3)将图像感兴趣的区域输入神经卷积网络，得到每个区域的分类；

(1.4)综合每个区域的分类，检测到图像中所有物体的信息；

(1.5)将物体经过神经网络的特征输出作为视觉短语特征；

(1.6)输出图像中所有物体的集合以及图像视觉特征。

3.如权利要求1所述的方法，其特征在于，所述步骤(2)具体包括：

(2.1)输入图像视觉特征；

(2.2)计算图像视觉短语中实体名称的词向量；

(2.3)计算两个实体名称的词向量的关系得分；

(2.4)输出视觉短语中的关系得分。

4.如权利要求1所述的方法，其特征在于，所述步骤(3)具体包括：

(3.1)输入步骤(1)检测到的实体；

(3.2)使用向量表示图像中的实体以及预先训练好的关系；

(3.3)计算图像中实体的词向量；

(3.4)通过映射矩阵将实体向量映射到关系空间之中；

(3.5)计算实体向量在关系空间的差值作为关系得分；

(3.6)输出语义信息的关系得分。

5.如权利要求1所述的方法，其特征在于，所述步骤(4)具体包括：

(4.1)将步骤(2)和步骤(3)输出的关系得分输入系统；

(4.2)对两个得分进行综合处理，输入分类器得到图像中的对象关系。