[发明专利]一种基于BERT模型的关系抽取方法及其系统

权利要求书

1.一种基于BERT模型的关系抽取方法，其特征在于，包括如下步骤：

步骤S1、数据集处理：将数据集内的样本分为训练集和测试集；

步骤S2、获取词向量：通过BERT预训练模型获取输入英文的词向量；

步骤S3、GRU层处理：输入由BERT预训练模型得到的句子向量化，从而得到状态信息；

步骤S4、注意力层处理：将GRU层获得的每个时间点的输出信息进行加权求和得到处理结果；

步骤S5、Softmax分类处理：选取Softmax回归模型来对注意力层得到的结果进行关系分类，完成最终的关系抽取任务。

2.根据权利要求1所述的一种基于BERT模型的关系抽取方法，其特征在于，在步骤S1内，每个样本中包含带有关系的两个实体且两个实体间的关系类型是唯一的。

3.根据权利要求1所述的一种基于BERT模型的关系抽取方法，其特征在于，在步骤S2内，通过self-Attention机制把上下文整体的信息加入到一个词中，为每个编码后得到的向量构建三个矩阵，从而来获取词向量，其中，三个矩阵分别为用来查询当前词的Q矩阵、用于查询当前词跟其它词的关系的K矩阵和用于特征向量的表达的V矩阵。

4.根据权利要求3所述的一种基于BERT模型的关系抽取方法，其特征在于，在步骤S2内，self-Attention中每个词进行整个序列的加权。

5.根据权利要求1所述的一种基于BERT模型的关系抽取方法，其特征在于，在步骤S3内，词向量在GRU网络进行运算，从而得到状态信息。

6.根据权利要求1所述的一种基于BERT模型的关系抽取方法，其特征在于，在步骤S4内，在步骤S4内，处理结果通过非线性函数生成表征向量。

7.根据权利要求1所述的一种基于BERT模型的关系抽取方法，其特征在于，在步骤S5内，Softmax将分类的输出数值转化为相对概率。

8.根据权利要求1所述的一种基于BERT模型的关系抽取方法，其特征在于，在步骤S1内，数据集中的关系类型为九种带有方向的关系和一种不带方向的other类型关系。

9.一种基于BERT模型的关系抽取系统，其特征在于，包括：

数据集处理模块，用于将数据集内的样本分为训练集和测试集；

获取词向量，用于通过BERT预训练模型获取输入英文的词向量；

GRU层处理，用于输入由BERT预训练模型得到的句子向量化，从而得到状态信息；

注意力层处理，用于将GRU层获得的每个时间点的输出信息进行加权求和得到处理结果；

Softmax分类处理，用于选取Softmax回归模型来对注意力层得到的结果进行关系分类，完成最终的关系抽取任务。

10.根据权利要求9所述的一种基于BERT模型的关系抽取系统，其特征在于，BERT预训练模型使用12头注意力机制的Transformer，其预训练词向量长度为768维。