[发明专利]实体及关系抽取方法及系统、装置、介质

权利要求书

1.实体及关系抽取方法，其特征在于，所述方法包括：

将文档输入预训练语言模型，得到文档单词序列的向量表示序列；

将向量表示序列输入卷积神经网络，结合注意力机制编码每个单词的嵌入表示，获得序列嵌入表示；

将序列嵌入表示输入第一编码器，得到实体特征嵌入表示信息；将实体特征嵌入表示信息输入实体分类器中进行实体分类，得到实体分类结果；

将序列嵌入表示输入第二编码器，得到的关系特征嵌入表示信息；

将实体特征嵌入表示信息和关系特征嵌入表示信息拼接得到拼接向量，将拼接向量输入前馈神经网络中得到关系抽取的嵌入表示，将关系抽取的嵌入表示输入到关系分类器中进行关系分类，得到关系分类结果；

利用实体分类损失函数和关系抽取损失函数优化实体分类结果和关系分类结果。

2.根据权利要求1所述的实体及关系抽取方法，其特征在于，输入文档D＝{w₁，w₂，...，w_n}，w_n为文档字符串序列中的每个字符，文档D单词来源于词汇库，w_i∈W^v，i＝1，...，n，n表示文档D单词的个数，v表示词汇库的大小，W表示词汇库空间，W^v为包含v个词汇的词汇库空间，经过预训练语言模型得到文档单词序列的向量表示：X＝{x₁，x₂，...，x_n}，x_i∈R^d，i＝1，...，n；x_i是一个实数空间的d维向量，表示第i个单词的向量表示，R代表实数空间。

3.根据权利要求2所述的实体及关系抽取方法，其特征在于，对于文档单词序列的向量表示序列X＝{x₁，x₂，...，x_n}，使用一组宽为单词嵌入表示维度d，长度为l＝{l₁，l₂，...，l_m}的卷积核对文档单词序列的向量表示序列进行一维卷积，其中l_s代表各个ngram的长度，s＝1，...，m；对于每个长度为l的ngram单词片段：u_l，i＝[x_i，...，x_i+l]∈R^l×d；1≤i≤n-l，l＝{l₁，l₂，...，l_m}；u_l，i代表单词序列向量表示X从位置i开始长度为l的单词片段向量表示；R^d×l代表长度为l，嵌入表示维度为d的实数空间；

使用一组数目为单词嵌入表示维度d，ngram长度为l的卷积核f＝{f₁，f₂，...，f_k}对文本片段进行卷积，f_k为第k个卷积核；

F_l，i，j＝＜u_l，i，f_l，j＞，F∈R^m×n×d

其中，F_l，i，j代表ngram长度为l，序列中起始位置为i，第j个输出通道的值；f_l，j∈R^d×l代表一个ngram长度为l、宽为d的卷积核，F是卷积的结果矩阵，F第一维是ngram滑动窗口长度的个数，F第二维是文本序列的长度，F第三维是单词嵌入表示的维度，R^m×n×d为m×n×d维的实数空间；

对于卷积的结果，使用注意力机制在每个ngram维度上进行加权求和得到序列单词的最终嵌入表示：

其中l＝{l₁，l₂，...，l_m}，i＝1，...，n

F_l，i＝Linear(F_l，i，：)，α_l，i＝Sigmoid(F_l，i)

其中，α_l，i代表序列中第i个位置，第l个Ngram卷积后的特征表示，F_l，i代表序列的第i个位置通过第l个Ngram卷积核卷积求得的特征嵌入表示，G_i代表求得的序列中第i个位置最终的特征嵌入表示，G为序列的ngram卷积注意力加权最终结果，F_l，i，：为序列第i个位置，经过长度为l的ngram卷积输出结果，Linear(F_l，i，：)为对F_l，i，：进行线性变换。