[发明专利]一种基于BERT的多模型融合提取事件主体的方法

权利要求书

1.一种基于BERT的多模型融合提取事件主体的方法，其特征在于，包括以下步骤：

步骤1：对原始数据进行预处理，得到事件主体的训练样本和预测样本；

步骤2：对训练样本和预测样本进行嵌入操作，得到BERT预训练网络的训练样本输入序列和预测样本输入序列；

步骤3：采用多个基于BERT预训练网络的不同复杂度的单模型，利用训练样本输入序列对所述单模型进行训练，并优化网络参数；

步骤4：将预测样本输入序列输入到经训练后的多个单模型，输出多个模型结果；

步骤5：对所述多个模型结果进行融合，得到预测样本的最终预测结果。

2.根据权利要求1所述的方法，其特征在于，所述步骤1具体包括：

步骤11：去除原始数据中不包含信息的无效字符；

步骤12：将经步骤11处理后的原始数据分为训练样本和预测样本。

3.根据权利要求1所述的方法，其特征在于，所述步骤2具体包括：

步骤21：针对训练样本和预测样本的所有事件主体，将每个事件主体的两个输入拼接为字符串序列；

步骤22：对所述字符串序列进行字符嵌入、位置嵌入、段落嵌入的操作，得到BERT预训练网络的训练样本输入序列和预测样本输入序列。

4.根据权利要求3所述的方法，其特征在于，所述每个事件主体的两个输入包括：事件的相关描述文本和事件类型。

5.根据权利要求4所述的方法，其特征在于，所述字符串序列形式为：[CLS]事件类型[SEP]事件的相关描述文本[SEP]。

6.根据权利要求1所述的方法，其特征在于，所述步骤3中的多个基于BERT预训练网络的不同复杂度的单模型包括：

BERT预训练网络+全连接层模型；

BERT预训练网络+自注意力层+全连接层模型；

BERT预训练网络+卷积层+自注意力层+全连接层模型。

7.根据权利要求6所述的方法，其特征在于，步骤4具体包括：

针对BERT预训练网络+全连接层模型，将预测样本输入序列经BERT预训练网络编码为向量输出，传递到全连接层进行解码，得到模型输出，提取模型输出中前20个概率最大的事件主体作为第一模型结果；

针对BERT预训练网络+自注意力层+全连接层模型，将预测样本输入序列经BERT预训练网络编码为向量输出，输入到自注意力层，再传递到全连接层，得到模型输出，提取模型输出中前20个概率最大的事件主体作为第二模型结果；

针对BERT预训练网络+卷积层+自注意力层+全连接层模型，将预测样本输入序列经BERT预训练网络编码为向量输出，输入到两个1维卷积层得到卷积输出，卷积输出与向量输出相加后输入到自注意力层和全连接层，得到模型输出，提取模型输出中前20个概率最大的事件主体作为第三模型结果。

8.根据权利要求7述的方法，其特征在于，所述步骤5具体包括：

针对字符个数小于80的样本，使用第一模型结果；

针对字符个数大于等于80的样本，以权重比例第一模型结果:第二模型结果:第三模型结果＝3:4:3进行融合；

针对20个概率分布均匀的样本，以权重比例第一模型结果:第二模型结果:第三模型结果＝＝3:3:4进行融合。

9.根据权利要求8所述的方法，其特征在于，所述步骤5中加上权重后对于概率值小于0.5的答案，不考虑融合。

10.根据权利要求8所述的方法，其特征在于，所述步骤5还包括：过滤错误答案：

词性标注：调用预训练好的词性标注模型，对每个模型输出结果进行了词性标注，若词性是名词类，则保留此结果；否则，将其过滤掉，进而取第二模型结果和第三模型结果；

停用词过滤：将主体中不可能出现的符号作为停用词，若预测结果出现停用词，则将其过滤；

句法分析：事件主体中不可能包含完整的主谓宾结构，对检测出来的答案进行句法分析，如果包含完整的主谓宾结构，则将其过滤。