[发明专利]序列标注方法及系统、事件要素抽取方法及系统

权利要求书

1.一种基于BERT预训练模型的序列标注方法，其特征在于，增加BERT预训练模型的输入层并参与训练，并基于训练后得到的分类模型对待标注文本进行序列标注；增加的输入层为辅助分类识别的特征词表示层；所述方法包括以下步骤：

基于指定的任务，对准备的文本语料进行人工标注，并对人工标注后的文本语料中的辅助分类识别的特征词进行标注；

将特征词表示层作为BERT预训练模型新增的输入向量层，并对每个向量初始化赋值，将标注后的文本语料送入BERT预训练模型进行微调，并将特征词表示层同时训练，通过反向传播的梯度进行变化，最终得到特征词表示层的向量矩阵以及训练好的分类模型；

将待标注文本输入训练好的分类模型进行推理，并将待分类文本中的所述辅助分类识别的特征词以所述向量矩阵索引输入，输出序列标注结果。

2.根据权利要求1所述的基于BERT预训练模型的序列标注方法，其特征在于，所述指定的任务为事件要素抽取任务，所述辅助分类识别的特征词为命名实体的类型。

3.一种基于BERT预训练模型的事件要素抽取方法，其特征在于，包括以下步骤：

基于事件要素的定义，对准备的文本语料中的事件要素进行标注，并标注出事件要素的类型；

将NER特征表示层作为BERT预训练模型新增的输入向量层，并对每个向量初始化赋值；

将处理后的文本语料送入BERT预训练模型进行微调，并将NER特征表示层同时训练，通过反向传播的梯度进行变化，最终得到NER特征表示层的向量矩阵，以及训练好的分类模型；

将待抽取文本输入训练好的分类模型进行推理，并将待抽取文本中的命名实体用预先训练好的NER工具标注出命名实体，使得待抽取文本中的命名实体以所述向量矩阵索引输入，输出事件要素预测结果；

基于事件要素预测结果进行事件要素抽取。

4.一种基于BERT预训练模型的序列标注系统，其特征在于，包括序列标注装置和预下载的BERT预训练模型，序列标注装置用于增加所述BERT预训练模型的输入层并参与训练，并基于训练后得到的分类模型对待标注文本进行序列标注；增加的输入层为辅助分类识别的特征词表示层；所述序列标注装置包括：

语料标注模块：基于指定的任务，对准备的文本语料进行人工标注，并对人工标注后的文本语料中的辅助分类识别的特征词进行标注；

模型训练模块：将特征词表示层作为BERT预训练模型新增的输入向量层，并对每个向量初始化赋值，将标注后的文本语料送入BERT预训练模型进行微调，并将特征词表示层同时训练，通过反向传播的梯度进行变化，最终得到特征词表示层的向量矩阵以及训练好的分类模型；

序列标注模块：将待标注文本输入训练好的分类模型进行推理，并将待分类文本中的所述辅助分类识别的特征词以所述向量矩阵索引输入，输出序列标注结果。

5.一种基于BERT预训练模型的事件要素抽取系统，其特征在于，包括：

语料标注模块：基于事件要素的定义，对准备的文本语料中的事件要素进行标注，并标注出事件要素的类型；

模型训练模块：将NER特征表示层作为BERT预训练模型新增的输入向量层，并对每个向量初始化赋值，将处理后的文本语料送入BERT预训练模型进行微调，并将NER特征表示层同时训练，通过反向传播的梯度进行变化，最终得到NER特征表示层的向量矩阵，以及训练好的分类模型；

事件要素预测模块：将待抽取文本输入训练好的分类模型进行推理，并将待抽取文本中的命名实体以所述向量矩阵索引输入，输出事件要素预测结果；

事件要素抽取模块：基于事件要素预测结果进行事件要素抽取。