[发明专利]一种基于细粒度语义信息增强的实体关系抽取的方法

说明书

本发明提出了一种基于细粒度语义信息增强的实体关系抽取方法，该方法包括：在输入层选取句子上下文信息构成句子初始向量；在编码层使用BERT预训练语言模型捕获文本的所有隐藏特征向量；在实体识别层借助指针网络获取头实体、尾实体范围表示，并获得实体类型信息；在关系抽取层使用之前的隐藏特征向量拼接实体类型信息去获得头尾实体的隐藏向量表示从进行关系抽取；然后在输出层之前加入细粒度类别词典使用注意力机制去获取关系类别的权重，连接输出层，使用Softmax对关系进行抽取分类。由于BERT的存在，本模型能够地对句子进行编码提取全部特征，而指针网络也为解决重叠实体三元组提取问题提供了较好的解决思路；最后构建细粒度类别词典使用注意力机制获取权重解决关系类别样例不平衡问题，最终提高了实体关系抽取的准确率。

技术领域

本发明属于自然语言处理领域。

背景技术

随着互联网的迅速普及和日活跃量的增加，网上的文本数据越来越多，形成海量的规模。而对于这些已经存在的文本数据的二次利用和挖掘其中的隐含价值，成为人们极度渴望和迫切需要的。这就使得知识图谱技术应运而生，知识图谱技术可以帮助人们快速获取信息，从可视化的数据上进行信息的推理和应用。有了知识图谱技术，人们可以进行问答系统的构建、和智能聊天机器人对话、对语音进行识别、请求机器帮忙进行阅读理解和翻译等。但知识图谱技术的发展离不开其底层的实体关系抽取技术，其所需要的的三元组、多元组可视化数据中的实体和关系正是依靠实体关系抽取出来的。先前实体关系抽取技术从基于手工构建特征工程和基于核函数的方法，发展到近几年的基于深度学习的技术，这一过程中解决了许许多多的问题但仍然还存在着诸多问题，比如管道方法的误差传播信息冗余问题和实体三元组重叠问题、标签不平衡问题等等。作为知识图谱构建技术的基石，实体关系抽取技术是自然语言处理研究一个热门大方向之一。

目前实体关系抽取已经发展到了使用深度学习技术的阶段，但目前存在的上述诸多问题还不能得到很好有效的解决。以往的实体关系抽取技术基于管道方法，先抽取实体，再使用实体作为输入抽取关系，并且使用的模型大多是RNN和LSTM或者这基于这两者的改进和变种，鉴于最近几年预训练语言模型在其他自然语言处理任务上的优秀表现，且本发明所研究的任务究其根本也属于自然语言处理任务的一种，因此，本发明以BERT预训练模型为基础，搭建了结合指针网络对文本句子中实体和关系进行联合抽取的模型。

发明内容

本发明提出一种基于细粒度语义信息增强的实体关系抽取方法，目的在于解决实体重叠问题和提高抽取实体关系的精度。该方法步骤如下：

(1)在输入层加入上下文信息构建拼接句子向量；

(2)在编码层捕获隐藏状态向量信息；

(3)在实体识别层获得头实体、尾实体范围信息，进行Softmax获得实体类型信息；

(4)在关系抽取层综合之前的隐藏特征向量、类型信息进一步抽取抽象特征；

(5)在输出层使用Softmax对关系进行分类。

附图说明

图1为本发明的基于细粒度语义信息增强的实体关系抽取方法模型结构图。

图2为本发明采用的BERT编码器，其中(a)为总体模型结构，其中(b)为内部模型结构。

图3为本发明采用的上下文信息示例示例。

图4为本发明采用的句子结合上下文信息进行词向量编码流程图。

图5为本发明采用的实体类型信息标注策略。

图6为本发明采用的上下文信息和实体类型信息流程图。

图7为本发明采用的细粒度关系类别词典构建流程图。

图8为本发明采用的关系样例统计表示例图。