[发明专利]基于Transformer模型的实体关系抽取方法和系统

权利要求书

1.一种基于Transformer模型的实体关系抽取方法，其特征在于，包括：

步骤S1：对非结构化文本进行数据处理，得到实体以及对应关系；

步骤S2：根据关系类型，将关系抽取转换成填空的形式；

步骤S3：基于span级别的Transformer结构，构建联合抽取模型，在编码器进行实体抽取，在非自回归解码器进行关系抽取；

步骤S4：在解码器输入关系模板，基于前馈神经网络的复制机制，输出具有对应关系的实体对；

步骤S5：通过两阶段排序策略和负采样机制训练模型，并对联合抽取模型效果的进行测试，并依据测试结果调整联合抽取模型。

2.根据权利要求1所述的基于Transformer模型的实体关系抽取方法，其特征在于，所述步骤S1包括：

步骤S101：对文本进行分句处理，去除重复的句子；

步骤S102：统计文本中出现的关系或者实体的类别，并进行类别映射ID的字典构建；

步骤S103：对头实体和尾实体开始与结束的位置进行标记，获取对应的实体名称以及类别；

步骤S104：对头实体和尾实体的关系进行映射，获取对应的关系类别。

3.根据权利要求1所述的基于Transformer模型的实体关系抽取方法，其特征在于，所述步骤S2包括：

步骤S201：将关系转换成预设形式的模板，所述模板包含关系细粒度的语义信息；

步骤S202：将标记插入到开始和结束的位置，将关系抽取转换成填空的形式，从而进行头实体和尾实体的提取；

步骤S203：将关系模板进行多次复制，实现对头实体、关系、尾实体的抽取。

4.根据权利要求1所述的基于Transformer模型的实体关系抽取方法，其特征在于，所述步骤S3包括：

步骤S301：将分句后的文本进行WordPiece分词处理，得到目标分词，并将标记插入到句子的开始位置；

步骤S302：对头实体和尾实体的位置进行更新，获取分词之后的位置；

步骤S303：将分词后的句子输入到Transformer的编码器端，获取对应的向量表示；

步骤S304：编码器的输出经过两个前馈神经网络，获取到的一个结果用于命名实体识别，另一个结果用于Transformer的解码器进行关系抽取。

5.根据权利要求1所述的基于Transformer模型的实体关系抽取方法，其特征在于，所述步骤S4包括：

步骤S401：载入编码器的输出，作为注意力机制计算的依据；

步骤S402：将关系模板分词后，输入到Transformer的解码器；

步骤S403：通过Transformer解码器的向量表示，基于复制机制进行头实体和尾实体提取；

步骤S404：将输入解码器的关系和输出的实体对进行组合，完成包括头实体、关系和尾实体的三元组的获取与构建。

6.根据权利要求1所述的基于Transformer模型的实体关系抽取方法，其特征在于，所述步骤S5包括：

步骤S501：依据实体对在原文中的位置，对实体对进行两阶段排序；

步骤S502：采用负采样机制，若关系出现在对应的原文中，则把它选为解码器输入；若不在原文中，则以预设概率选为解码器输入；

步骤S503：利用测试数据对模型效果进行测试，统计模型的准确率、召回率和F1指标，并加以保存；

步骤S504：修改包括模型学习率、迭代次数的超参数，重复试验后最终确定超参数；

步骤S505：对模型结果进行分析，验证模型的有效性。