[发明专利]一种基于BERT模型的中文三元组抽取方法

说明书

本发明涉及一种基于BERT的中文三元组抽取方法，本发明以BERT中文预训练模型代替现行的word2vec词向量生成模型，从而克服传统中文三元组抽取方法缺陷，并通过BERT模型获取的字向量具有更强的泛化能力，能够充分描述字符级，词级，句子级间的特征关系，以Bi‑LSTM为网络结构，结合注意力机制进行关系抽取，不仅能够使关系抽取的准确率得到提升，还使BERT预训练模型的应用范围得到扩展。

技术领域

本发明涉及构建知识图谱中的三元组抽取领域，特别是一种基于BERT的中文三元组抽取方法。

背景技术

随着互联网技术的快速发展，网络中的数据激增，为构建知识图谱提供了充足的信息资源，知识图谱可以辅助知识库来理解人的自然语言，其涉及的技术包括知识抽取、知识存储、图谱构建、命名实体识别、实词提取、对话管理、意图识别、答案生成等方面。

目前网络中的文本数据大部分是非结构化的，不能直接用于构建知识图谱，如何高效地从非结构化的文本中抽取有效信息，成为构建知识图谱中的重要环节。

随着深度学习技术的快速发展，大量深度学习模型应用到关系抽取任务中，目前主流的三元组抽取方法为通过word2vec获取词向量然后用深度学习方法进行关系抽取，抽取效果相比传统关系抽取方法有大幅度提高，但通过word2vec方法获取的词向量模型不具备上下文语义分析能力，难以取得更高的关系抽取效果。

发明内容

本发明所要解决的技术问题是提供一种基于BERT模型的中文三元组抽取方法，其提高了从非结构化文本抽取三元组的准确率。为此，本发明采用以下技术方案：

S1、获取文本数据，对文本数据进行预处理并划分为测试数据集以及训练和验证数据集；

S2、将中文文本分字后输入BERT预训练模型获取中文字向量；

S3、将S2中获取的中文字向量输入全连接层获取实体识别的分类字向量，并通过CRF分类器输出实体识别结果；

S4、根据实体识别结果以及S2中获取的中文字向量生成元组关系矩阵，并将元组关系矩阵输入Bi-LSTM层处理得到最后一个LSTM节点的输出向量；

S5、注意力层处理：将Bi-LSTM层中输出的最后一个节点的向量进行加权求和处理，得到处理后的向量；

S6、选取SoftMax分类器对注意力层得到的结果进行关系分类，结合实体识别结果完成最终的三元组抽取任务。

作为本发明的更进一步改进，文本数据中的每个句子可以包含多种不同的三元组关系，步骤S1对文本数据进行预处理中，将每个句子按照同一批次中最长的句子进行填充。

作为本发明的更进一步改进，步骤S2所述的BERT预训练模型输出的向量为中文字向量，每个句子输出的中文字向量长度相同。

作为本发明的更进一步改进，步骤S4生成的所述元组关系矩阵，每个句子中的关系元组矩阵根据实体识别得到的实体类型以及S2中获取的中文字向量生成；元组关系矩阵的最大长度为超参数。

作为本发明的更进一步改进，步骤S2内，中文字向量获取包括以下步骤，通过self-Attention机制把上下文整体的信息加入到一个字中，为每个编码后得到的向量构建三个矩阵，从而来获取字向量，其中，三个矩阵分别为用来查询当前字的Q矩阵、用于查询当前字跟其它字的关系的K矩阵和用于特征向量的表达的V矩阵。

作为本发明的更进一步改进，在步骤S2内，BERT预训练模型使用12头注意力机制的Transformer，其预训练字向量的长度为768维。