[发明专利]一种融入词边界信息的中文嵌套命名实体识别方法

权利要求书

1.一种融入词边界信息的中文嵌套命名实体识别方法，其特征在于，包括以下步骤：

步骤1：获取中文嵌套实体识别语料库，以及外部词典和开源的中文静态词向量；

步骤2：对于语料中的每一个文本序列s，通过贪心算法得到匹配词M；

其中，文本序列s指待抽取嵌套实体的一个中文句子，由连续的字构成，符号表示为：s＝{w₁，w₂，...，w_n}，其中n表示句子的长度，w_i表示句子中第i个字；

贪心算法的计算方式为：

首先，遍历文本序列中的每个字w_i，在外部词典D中查找以w_i为开始字且与w_i之后的字能够一一对应的尽可能长的所有词汇，并记录每个匹配词对应原始文本的开始索引和结束索引位置；

其中，外部词典D是指独立于训练语料的词典文件，是中文常见词的集合，每个词由一个或多个字组成，符号表示为：D＝{d₁，d₂，...，d_/D/}，|D|表示词典文件中的单词数量，d_i表示词典中的第i个词汇；

文本匹配词M，是指文本序列与外部词典按照贪心算法匹配，根据文本匹配到的词典中的单词的集合为文本匹配词；文本序列s对应的匹配词表示为：M＝{m₁，...，m_K}，其中K表示一个文本序列中匹配出来的词汇个数；

然后，将{m₁，...，m_K}的开始索引记为pos_M，start＝{pos_M，s1，...，pos_M，sK}，将结束索引记为pos_M，end＝{pos_M，e1，...，pos_M，eK}；

{w₁，w₂，...，w_n}的开始索引和结束索引，均是从1开始递增，分别记为pos_s，start＝{1，2，...，n}、pos_s，end＝{1，2，...，n}；

步骤3：通过开始索引pos_M，start、结束索引pos_M，end、pos_s，start、pos_s，end计算每两个位置之间的相对位置向量R_ij，如下所示：

其中，pos_start，i表示pos_M，start或pos_s，start中第i个的位置索引，pos_end，i表示pos_M，end或pos_s，end中第i个的位置索引，pos_start，j、pos_end，j的定义同理，以此类推；

通过体现了字、匹配词之间的边界位置信息，表示利用位置向量PE得到索引为的位置向量，其携带边界信息的相对位置编码；W_r为模型需要学习的参数，ReLU()为深度学习中常用的激活函数；

位置向量PE指对于文本序列中每个字的位置索引pos对应的向量表示，通过三角函数计算得到，如式6、式7所示：

其中，d_model表示位置向量的维度，PE_(pos，2i)表示第pos索引位置向量的第i维度上值；

步骤4：从中文静态词向量E中得到文本序列s和匹配词M对应的向量表示E，

中文静态词向量E指根据大规模语料预训练得到开源的中文字、词的静态向量表示，其中，静态字向量表示为E_w，静态词向量表示为E_m；

步骤5：使用两层Transformer-XL的编码结构，对步骤4得到的字词向量进行编码计算，再计算Attention阶段融合相对位置，得到带有词边界信息的每个字的向量表示；

具体地，方法如下：

sub_layer_output＝LayerNorm(x+(SubLayer(x))) (8)

Att(A，V)＝softmax(A)V (9)

其中，sub_{layer_output}表示Transformer-XL的子层输出，LayerNorm()表示层级正则化计算，SubLayer()表示Transformer-XL的子层结构，Att()表示自注意力计算，A表示自注意力计算的注意力权重矩阵，a_ij表示A矩阵中第i行第j列的元素，V表示Transformer-XL前一子层的输出经过线性变换的结果，softmax()、ReLU()均为激活函数，FFN()表示前馈神经网络，x_i、x_j表示i、j索引位置的字符，表示x_i、x_j在中文静态词向量E中的向量表示，W_k，E、W_k，R均表示模型待学习的不同参数矩阵，其中是参数矩阵W₁、W₂、W_q的转置矩阵，b₁、b₂均表示模型待学习的不同参数列向量；

在每个Transformer-XL层中都包含两个子层，最后一层的输出为融合词边界信息的向量表示，记为x_boundary，i，式8为子层计算的基本逻辑，x表示子层的输入向量，第一子层式9是式8的输入，第二子层式10是式8的输入，式9中的权重矩阵A的每位元素计算为式10，当前Transformer-XL层的输入为前一层的输出，初始化输出即为E；

步骤6：利用预训练语言模型LM_BERT得到每个字带有语义信息的向量表示，将字w_i的语义信息的向量表示记为x_BERT，i；

语义信息，指通过计算每个句子中字之间的信息交互得到的句子层面的信息表示；

步骤7：按照式12对两种向量表示进行拼接，得到最终字的向量表示x_i；

x_i＝[x_BERT，i；x_boundary，i] (12)

步骤8：利用双仿射分类器，计算每个开始索引位置为i、结束位置索引为j的文本片段span_ij对于实体类型为c的概率p(i，j，c)：

p(i，j，c)＝softmax(score_ij) (16)

其中，FFNN_s、FFNN_e表示两个维度相同的独立线性映射层，分别表示由步骤7得到的文本片段span_ij的开始字符以及结束字符的向量表示，softmax()表示常见的归一化层，U_m、W_m表示模型的训练参数矩阵，b_m表示模型的训练参数列向量；

实体类型c指语料库中标注出来的实体类型的集合，符号表示为c＝{O，c₁，c₂，...，c_|C|}，其中，O类型表示非实体类型，其余为预定义实体类型；

式13至式15是双仿射分类器的计算过程；首先通过两个独立的映射层保留字向量表示中带有实体起始位置信息h_start(i)、实体结尾位置信息的向量表示h_end(j)，经过双仿射分类器计算得到一个文本片段span(i，j)在不同实体类型上的得分score_ij，将分数经过softmax()层转化成最终的实体分类的概率p(i，j，c)，模型选择概率最大的类型作为span(i，j)的实体类型预测结果；

使用模型预测结果与语料库中的标注结果的交叉熵，作为模型训练的损失函数，通过不断优化损失函数值来训练调整模型参数。