[发明专利]一种基于BERT模型的中文三元组抽取方法

权利要求书

1.一种基于BERT模型的中文三元组抽取方法，其特征在于，包含以下步骤：

S1、获取文本数据，对文本数据进行预处理并划分为测试数据集以及训练和验证数据集；

S2、将中文文本分字后输入BERT预训练模型获取中文字向量；

S3、将S2中获取的中文字向量输入全连接层获取实体识别的分类字向量，并通过CRF分类器输出实体识别结果；

S4、根据实体识别结果以及S2中获取的中文字向量生成元组关系矩阵，并将元组关系矩阵输入Bi-LSTM层处理得到最后一个LSTM节点的输出向量；

S5、注意力层处理：将Bi-LSTM层中输出的最后一个节点的向量进行加权求和处理，得到处理后的向量；

S6、选取SoftMax分类器对注意力层得到的结果进行关系分类，结合实体识别结果完成最终的三元组抽取任务。

2.根据权利要求1所述的一种基于BERT模型的中文三元组抽取方法，其特征在于，文本数据中的每个句子包含多种不同的三元组关系，步骤S1对文本数据进行预处理中，将每个句子按照同一批次中最长的句子进行填充。

3.根据权利要求1所述的一种基于BERT模型的中文三元组抽取方法，其特征在于，步骤S2所述的BERT预训练模型输出的向量为中文字向量，每个句子输出的中文字向量长度相同。

4.根据权利要求1所述的一种基于BERT模型的中文三元组抽取方法，其特征在于，步骤S4生成的所述元组关系矩阵，每个句子中的关系元组矩阵根据实体识别得到的实体类型以及S2中获取的中文字向量生成；元组关系矩阵的最大长度为超参数。

5.根据权利要求3中所述的一种基于BERT模型的中文三元组抽取方法，其特征在于，步骤S2内，中文字向量获取包括以下步骤，通过self-Attention机制把上下文整体的信息加入到一个字中，为每个编码后得到的向量构建三个矩阵，从而来获取字向量，其中，三个矩阵分别为用来查询当前字的Q矩阵、用于查询当前字跟其它字的关系的K矩阵和用于特征向量的表达的V矩阵。

6.根据权利要求3所述的一种基于BERT模型的中文三元组抽取方法，其特征在于，在步骤S2内，BERT预训练模型中使用12头注意力机制的Transformer，其预训练字向量的长度为768维。