[发明专利]一种基于对词元序列的预判断和多轮分类的实体关系抽取方法

权利要求书

1.一种基于对词元序列的预判断和多轮分类的实体关系抽取方法，包含以下步骤：

步骤(1)：

利用BERT预训练语言模型对输入语句X进行处理，得到向量序列：(CLS,X₁,X₂,…,X_n)，其中，CLS表示X的全局信息；对于宽度为L的span s，其BERT向量表示为：(X_i,X_i+1,…,X_i+L-1)；

span向量表示编码器模块：利用BERT预训练语言模型得到输入语句中各个候选span的向量表示；

步骤(2)：

将对应每一span的输入信息表示输入到实体预判断模块(PEJ)中的sigmoid分类器，判断该span是否属于实体，对于宽度为L的span s，其在sigmoid分类器上的输入信息表示由三部分拼接组成，第一部分为该span s的BERT向量表示(X_i,X_i+1,…,X_i+L-1)的最大池化，表示为i₁(s)：

Bert(s)＝(X_i,X_i+1,…,X_i+L-1)

i₁(s)＝maxpool(Bert(s))

考虑到span宽度特征对模型的作用，使用一个宽度嵌入矩阵，表示为WE；WE中对应不同的span宽度(1,2,…)均有一个相同维数的向量表示，WE通过反向传播进行参数优化；嵌入向量WE_L作为输入信息表示的第二部分，表示为i₂(s)：i₂(s)＝WE_L；

采用CLS作为输入信息表示的第三部分，表示为i₃(s)：i₃(s)＝CLS；

拼接输入信息表示的三部分，表示为i(s)：i(s)＝i₁(s).i₂(s).i₃(s)；

其中符号[.]表示向量拼接组合；

实体预判断模块(PEJ)：判断输入语句中满足长度限制的各个span是否属于实体，保留被判断为属于实体的span；

i(s)输入PEJ模块进行预判断：

p(s)＝σ(W_e*i(s)+b_e)

其中符号*表示矩阵乘法(同下)，W_e和b_e分别表示ec₀的权重和偏差，σ表示sigmoid函数；p(s)是s在ec₀上的预测值；高预测值表示s属于实体的可能性大；给定阈值α，p(s)α表示s属于实体，否则不属于；

步骤(3)：

对于上一步骤中判断为实体的span s，将其对应输入信息表示(同步骤(2))输入实体多轮分类模块(EMR)中，对应各实体类别分类器做进一步实体判断及所属具体实体类别判断；

实体多轮分类模块(EMR)：经过PEJ模块初步判断span是否属于实体之后，对保留下的span进行做进一步的判断，具体地，分别判断span是否属于实验集中预先定义的各实体类别，若span不属于任一实体类别，则认为span不属于实体，不属于则筛除，否则保留span及其对应的一个或多个实体类别；

经过PEJ模块初步判断span是否属于实体之后，对保留下的span进行做进一步的判断，具体地，分别判断span是否属于实验集中预先定义的各实体类别，若span不属于任一实体类别，则认为span不属于实体，不属于则筛除，否则保留span及其对应的一个或多个实体类别；

假设预先定义数据集中包含4类实体、5类关系，则在分别对应4类实体的分类器ec₁、ec₂、ec₃、ec₄上，判断span s是否属于相应实体类别e₁、e₂、e₃、e₄，若不属于任一类别，则筛除span s；各分类器对span s进行预测：

其中，分别表示ec₁、ec₂、ec₃、ec₄上的权重和偏差；p₁(s)、p₂(s)、p₃(s)、p₄(s)表示在各类别上预测的二维向量，两个值分别表示span s不属于、属于各对应类别的概率；筛除被判断为不属于任一类别的span,保留其余span及其对应一个或多个类别；S^pre表示保留下的span的集合；

步骤(4)：

关系多轮分类模块RMR：实体多轮分类模块EMR中筛选出的实体集合，依次判断每一对实体间是否存在实验集中预定义的各关系类别，若实体对间不存在任一关系类别，则认为实体对间不存在关系，否则保留实体对、实体对中两个实体的实体类别及其存在的一个或多个关系类别；

多轮关系分类模块RMR对上一步骤中得到的集合S^pre×S^pre中的实体对进行关系抽取，(设定数据集中关系类别数量为5)RMR模块中对应5个关系类别的分类器rc₁、rc₂、rc₃、rc₄、rc₅分别判断S^pre×S^pre中实体对(s₁,s₂)是否存在相应关系r₁、r₂、…、r₅；各分类器的输入信息包含三部分信息，第一部分是实体s₁、s₂的BERT向量表示的最大池化i₁(s₁)、i₁(s₂)(同PEJ与EMR模块)，第二部分是两实体的宽度嵌入信息i₂(s₁)、i₂(s₂)(同PEJ与EMR模块)，第三部分则是实体对(s₁,s₂)在句子中的上下文信息，模型采用实体s₁、s₂之间(s₁末尾位置到s₂开头位置之间)的span的BERT表示的最大池化作为第三部分输入，表示为c(s₁,s₂)；最后，将三部分信息进行拼接：

i(s₁,s₂)＝i₁(s₁)·i₁(s₂)·i₂(s₁)·i₂(s₂)·c(s₁,s₂)

然后各关系分类器预测实体对(s₁,s₂)之间的关系：

分别表示各分类器上的权重和偏差；p₁(s₁,s₂)、p₂(s₁,s₂)、p₃(s₁,s₂)、p₄(s₁,s₂)、p₅(s₁,s₂)分别表示(s₁,s₂)在各分类器上输出的二维向量，两个值分别表示实体对(s₁,s₂)不存在、存在对应类别关系的概率，预测得出关系集合R^pre；

通过以上步骤，可识别得到文本语句中的实体集合S^pre，抽取出关系集合R^pre；

用于模型训练的数据集中每条语句包含句子、实体、关系，其中实体表示为[起始位置索引，结束位置索引，实体类型]，关系表示为[头实体索引，尾实体索引，关系类型]；模型损失为PEJ、EMR、RMR模块中各个分类器的损失之和，PEJ模块中分类器ec₀是sigmoid分类器，因此采用binary-cross-entropy-loss计算损失，而EMR和RMR模块中各个分类器都是softmax分类器，因此采用cross-entropy-loss计算损失，Smrc模型总损失表示为L；分别表示模型分类器ec₀，ec₁，ec₂，ec₃，ec₄，rc₁，rc₂，rc₃，rc₄，rc₅上训练数据的损失；L_PEJ，L_EMR，L_RMR分别表示PEJ、EMR、RMR模块整体的损失，则有：

L＝L_PEJ+L_EMR+L_RMR

对于PEJ和EMR模块各分类器训练数据的选择，假设语句X中选取带有标签的实体集S^t:{(s₁，e₁)、(s₂，e₂)、(s₃，e₃)、(s₄，e₄)}作为训练正例，同时在满足宽度限制的所有span中随机选取ce＝100个不属于实体的span：(f₁，none)，(f₂，none)，…，(f_ce，none)；

RMR模块中关系训练负例的选择与PEJ、EMR中的随机选取方式不同，从具有实体标签的实体的自由组合S^t×S^t中选取，假定语句中实体集合为S^t：{“Franca Chlistovsky”、“Brerametereologic institute”、“Milan”、“1950”}，包含的关系为：[Franca Chlistovsky，Brera metereologic institute,Work for]，其中Franca Chlistovsky，Brerametereologic institute为关系中包含的两个实体，Work for表示实体关系类型；则从中选取(“Franca Chlistovsky”，“Milan”，none)、(“Brera metereologic institute”，“1950”，none)，…，(“Milan”，“1950”，none)等彼此间不存在关系的实体对作为关系抽取训练负例。