[发明专利]一种基于预训练卷积神经网络的关系抽取方法及系统

权利要求书

1.一种基于预训练卷积神经网络的关系抽取方法，其特征在于，一方面利用预训练模型提取目标实体的语义信息，另一方面使用卷积神经网络提取句子级的语义信息；具体为：先对数据集进行处理，在文本句子的开头、结尾以及实体前后加入特殊标签，识别出一个句子和两个目标实体，然后将处理好的数据输入预训练模型、卷积神经网络模型，提取目标实体和句子的语义，将获取的句子语义、实体语义、标签语义连接，通过softmax分类器获取目标实体之间的关系；

所述关系抽取方法包括如下步骤：

步骤一：数据预处理，对于标签序列s＝{x₁,x₂,……x_n}，x_i为句子的第i个词向量，n为模型设置的输入句子的最大长度，开头和结尾分别添加[CLS]，[SEP]标签和一些特殊的规范字符；输入处理模块将每个x_i编码成一个包含两个目标实体和特殊标签符号的向量e_i的公式为：

e_i＝E_token(x_i)+E_seg(x_i)+E_pos(x_i)

其中，E_token(x_i)表示词嵌入，E_seg(x_i)表示片段嵌入，E_pos(x_i)表示位置嵌入；

步骤二：将处理好的数据输出到预训练模型中进行预训练；

经过预训练BERT后最终输出的隐藏向量是H＝{H₀，H₁，H₂，…，H_n }，标签向量为H₀，向量H_i到H_j是实体e1的BERT的最终隐藏状态向量，而H_k到H_m是实体e2的BERT的最终隐藏状态向量；

步骤三：BERT预训练完成后，对实体向量取平均并激活，再分别使用卷积神经网络和全连接神经网络提取句子和两个目标实体中的语义信息；

标签语义获取：

H′₀＝W₀(tanh(H₀))+b₀

其中：W₀是参数矩阵，且W₀∈R_d×d，d是BERT的隐藏状态大小，b₀是偏差向量；

实体语义获取：

其中，W₁，W₂是参数矩阵，具有相同的维度，即W₁∈R_d×d，W₂∈R_d×d，d是BERT的隐藏状态大小，b₁，b₂是偏差向量，且W₁＝W₂，b₁＝b₂；

句子语义提取：

对BERT层的输出矩阵H＝{H₀,H₁,H₂,…,H_n }进行卷积、降采样操作，然后通过拼接层，提取文本特征；当卷积核长度为k，卷积核滑动的步长设为1时，对文本矩阵进行上下滑动，则H分成{H_0:k,H_1:k+1,H_2:k+2,…,H_n-k+1:n}，其中H_i:j表示向量H_i到H_j的所有向量的级联，对于每一个分量执行卷积操作后得到向量C＝{C₀,C₁,C₂,…,C_n-k+1}，C_i是对分量H_i:i+k-1执行卷积操作后得到的值，称为一个局部特征映射，计算公式为：

C_i＝W₃^TH_i:i+k-1+b₃

其中，W₃是卷积核的参数，按照均匀分布随机初始化，并在模型训练过程中不断学习；b₃是偏差向量；

对卷积捕获的文本特征映射向量C进行最大池化操作：

对于q个卷积核：

经过全连接后卷积神经网络的输出向量为最终的向量C’；

步骤四：将提取的标签语义，句子语义和实体语义信息进行全连接；

h”＝W₄[concat(C′,H′₀,H′₁,H′₂)]+b₄

其中，W₄∈R_L×4d，L是关系类型的个数，b₄是偏差向量；

步骤五：通过softmax分类器对实体关系进行抽取，输出两个目标实体的关系；

p＝softmax(h”)

p是概率输出。