[发明专利]一种适用图文知识图谱的关系抽取方法

说明书

本发明公开了一种适用图文知识图谱的关系抽取方法及系统，属于信息处理领域。该方法的特征包括：首先物体检测系统得到物体集合以及视觉短语特征，再同时分别经过视觉短语系统和翻译嵌入系统得到图像视觉特征和图像语义特征，最终经过分类器得到图像中的关系预测。本发明通过结合知识图谱与图像信息，解决图文知识图谱的关系抽取问题。

技术领域

本发明涉及信息处理领域，特别涉及图像目标检测以及知识图谱中的关系抽取算法。

背景技术

图像目标检测目的是在于检测图像中包含的所有物体，基本做法是将图像划分区域后再对每个区域进行图像分类。

知识图谱中的一个关键技术就是关系抽取算法。目前主要使用神经网络来解决关系抽取问题，将词向量和位置向量进行联合训练。然而目前已有的关系抽取全部是应用于文字信息中，本发明通过融合知识图谱与图像特征的信息，解决图文知识图谱的关系抽取问题。

发明内容

为了解决现有的技术问题，本发明提供了一种适用图文知识图谱的关系抽取技术方案。方案如下：

步骤一，我们将图像输入物体检测系统得到物体集合以及视觉短语特征。

步骤二，我们使用视觉短语系统得到图像所含物体关系的视觉短语。

步骤三，我们使用翻译嵌入系统得到图像语义特征，通过计算向量预测出关系。

步骤四，通过融合视觉短语系统以及翻译嵌入系统的输出得到图像中关系的最终预测。

附图说明

图1是本发明提供的图文知识图谱关系抽取的网络结构图。

具体实施方式

接下来将对本发明的实施方法作更详细的描述。

图1是本发明提供的图文知识图谱关系抽取的系统结构图，其中包括：

步骤S1：物体检测系统得到图像中的物体集合以及视觉短语特征。

步骤S2：视觉短语系统得到图像视觉特征。

步骤S3：翻译嵌入系统得到图像语义特征。

步骤S4：融合视觉短语系统以及翻译嵌入系统的输出，使用分类器得到图像中的对象关系。

下面将对每个步骤进行具体的说明：

步骤S1：输入图像进入物体检测系统得到图像中检测到的所有物体集合以及视觉短语特征I。

物体检测系统中我们使用VGG-16为底座的Faster-RCNN网络来提取图片中的物体。图像首先经过神经卷积网络得到特征图，然后经过RPN(region proposal network)网络得到感兴趣的区域，将各个区域图像进行分类，通过统计得到对可能的物体分类从而得到图像中包含的所有物体。将物体经过神经网络的特征输出作为视觉短语特征，得到下一级的输入。

步骤S2：输入物体集合中的实体s和o以及视觉短语特征I，经过视觉短语系统得到包含实体关系的图像视觉特征。使用预先对文本学习到的下先验知识，将输入的实体s和o向量化，并和从图片中提取的特征I映射到关系空间后串联，计算后输出视觉短语系统的关系得分。

在视觉短语系统中，我们使用文本信息来帮助模型从图像中找到应该注意的物体。我们使用视觉短语来提供更完备的关系信息，视觉短语中包含两个物体的共同特征。我们通过计算两个实体名称词向量word2vec来帮助寻找两个物体之间的相互关系。视觉短语的得分定义为：

S_p,s,o＝δ(U_p(word2vec(o)⊙word2vec(s)+U_II))