[发明专利]基于Transformer模型的实体关系抽取方法和系统

说明书

本发明提供了一种基于Transformer模型的实体关系抽取方法和系统，包括：对非结构化文本进行数据处理，得到实体以及对应关系；根据关系类型，将关系抽取转换成填空的形式；基于Transformer结构，构建联合抽取模型，在编码器进行实体抽取，在非自回归解码器进行关系抽取；在解码器输入关系模板，基于前馈神经网络的复制机制，输出具有对应关系的实体对；通过两阶段排序策略和负采样机制训练模型，并对联合抽取模型效果的进行测试，并依据测试结果调整联合抽取模型。通过本发明可以实现在非结构化文本中进行特定关系的抽取，并识别出对应的实体，从而利用文本中有价值的信息。

技术领域

本发明涉及信息抽取技术领域，具体地，涉及一种基于Transformer模型的实体关系抽取方法和系统。

背景技术

随着大数据时代的到来，海量的非结构化文本越来越多地出现在互联网。人们希望能够通过计算机来自动获取这些文本中的结构化的信息。实体关系抽取通常分为两个部分：命名实体识别以及关系抽取。命名实体识别的目标是在文本当中识别出对应的命名实体；关系抽取目标是从文本当中提取特定的关系。在文本数据激增的今天，实体关系抽取成为了知识图谱构建的关键步骤，许多研究人员此领域进行了探索。

专利文献CN112183023A(申请号：CN202011045802.6)公开了一种多关系抽取方法和终端，该方法包括：将待处理句子中的每个词进行向量变换后输入Transformer模型的解码器进行编码，得到编码向量；将预设句子中的每个词进行向量变换，得到预设向量；将所述编码向量与所述预设向量同时输入所述Transformer模型的解码器进行解码，得到输出数据集；所述输出数据集由多个按序排列的子数据集组成，每个所述子数据集由5个按序排列的输出数据组成；依次基于每个所述子数据集中按序先后排列的5个输出数据确定所有的关系及其实体对。

传统的实体关系抽取通常采用管道的方法，也就是先进行实体抽取再进行关系分类。这种方法虽然灵活，但是存在着误差传播的问题，并且不能很好地利用两个子任务之间的联系。近几年，基于联合实体关系抽取的模型受到越来越多的关注，可以在一个模型中同时完成两个子任务，成为了目前的主要研究方向。但是现有的方法存在着三个显著问题：首先，现有的方法通常将实体关系抽取转换成分类问题，将关系用一个没有含义的分类类别编号来表示，从而忽略了关系中的重要语义信息。其次，关系抽取通常被分解成两个子任务来进行，也就是先进行实体抽取再进行关系抽取，或者先提取文本中的关系，再提取文本中的实体，导致了模型冗余和误差传播。最后，部分模型不能很好地利用两个子任务之间的关系，将两个任务分开进行，忽略了这两个子任务之间的联系。因此，能够更好地对文本进行处理并进行结构化信息的提取，成为了需要解决的问题。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于Transformer模型的实体关系抽取方法和系统。

根据本发明提供的基于Transformer模型的实体关系抽取方法，包括：

步骤S1：对非结构化文本进行数据处理，得到实体以及对应关系；

步骤S2：根据关系类型，将关系抽取转换成填空的形式；

步骤S3：基于span级别的Transformer结构，构建联合抽取模型，在编码器进行实体抽取，在非自回归解码器进行关系抽取；

步骤S4：在解码器输入关系模板，基于前馈神经网络的复制机制，输出具有对应关系的实体对；

步骤S5：通过两阶段排序策略和负采样机制训练模型，并对联合抽取模型效果的进行测试，并依据测试结果调整联合抽取模型。

优选的，所述步骤S1包括：

步骤S101：对文本进行分句处理，去除重复的句子；

步骤S102：统计文本中出现的关系或者实体的类别，并进行类别映射ID的字典构建；