[发明专利]一种基于图信息增强的实体关系抽取方法

说明书

本发明公开了一种基于图信息增强的实体关系抽取方法，属于信息抽取和大数据挖掘技术领域。本发明包括如下步骤：1)训练集文本数据处理；2)将训练集中的实体关系三元组集合转换为关系图；3)构建训练集中句子的初始向量表示；4)基于图神经网络模型生成图中节点即实体的向量表示；5)构建训练集中句子的向量表示，由句子初始向量和实体向量融合生成句子向量，训练全连接网络；6)依据前述1)到5)抽取测试集中实体的关系。本发明通过预训练模型和图神经网络模型生成句子向量，引入句子分类损失的权重训练方法，提高了实体关系抽取的性能，在信息检索、文本分类、问答系统等领域具有广阔的应用前景。

技术领域

本发明涉及一种基于图信息增强的实体关系抽取方法，属于信息抽取和大数据挖掘技术领域。

背景技术

实体关系抽取是知识图谱构建、信息抽取领域的重要研究课题。实体关系抽取是指从文本数据集中抽取不同实体之间的各种语义关系。知识图谱在智能搜索与问答、个性化建模与推荐、文本分类与聚类等领域得到广泛应用。

实体关系抽取方法主要分为基于机器学习的方法、基于神经网络的方法、基于远程监督的方法、基于半监督的方法等。基于机器学习的实体关系抽取方法通常首先构建文本特征，然后采用支持向量机、随机森林，以及条件随机场等模型进行实体关系识别。基于神经网络的方法是指采用卷积神经网络、循环神经网络等深度学习模型来抽取实体关系。基于远程监督的实体关系抽取方法是指通过远程知识库扩大标注数据集，使模型能够学习到包含实体关系的自然语言上下文特征信息。基于半监督的实体关系抽取方法则同时利用大量标注样本数据和少量未标记样本数据，来构建实体关系的学习器。

图神经网络(Graph Neural Network，简称GNN)能够将语料集中句子内的实体关系集合转换为图数据，然后学习图节点即实体的向量表示。对于拓扑结构的图数据，图中每个节点通过语义关系或其他关联关系等与其邻居节点相连，节点的邻居节点的数量和类型是动态变化的。这些节点及其关系能够用于获取实体之间的依赖关系信息。通过图神经网络训练学习数据集中实体的图结构信息，生成表示实体的节点的向量表示。

实体关系抽取是知识图谱构建的重要研究内容。目前实体关系抽取方法主要利用语料集的文本信息，来学习刻画实体关系的词法和句法等自然语言方面的特征，难以学习三个或更多个实体之间的隐式关系的结构特征。

发明内容

本发明的目的在于针对现有实体关系抽取方法难以学习多个实体之间隐式关系的结构特征的技术缺陷，提出了一种基于图信息增强的实体关系抽取方法，将训练集中的实体关系三元组集合转换为图数据，基于图神经网络生成实体的向量；再基于预训练模型BERT生成句子词语向量，构建句子初始向量，拼接句子初始向量和实体向量为句子向量，再将句子向量输入至全连接网络，进行句子权重训练，实现实体关系抽取。

所述基于图信息增强的实体关系抽取方法，包括以下步骤：

步骤1：训练集文本数据处理：将训练集中的句子进行分词、抽取头实体和尾实体及其关系，并将头实体和尾实体保存为字典形式；

步骤1，具体为：利用预训练模型BERT中的tokenizer方法对句子进行分词，抽取头实体和尾实体，获取头实体和尾实体的位置标记，标注头实体和尾实体的关系；

步骤2：将训练集中的实体关系三元组集合转换为关系图；

对训练集进行实体对及其关系抽取，获取关系三元组集合，并将其转换为图的表示形式，即构建其对应的关系图；

该关系图，记为G，G中节点表示实体，边表示实体关系三元组中头实体和尾实体之间的关系；

其中，关系三元组包括头实体，关系和尾实体；

步骤3：构建训练集中句子的初始向量表示，利用预训练模型BERT生成句子词语的向量，进而构建句子的初始向量；