[发明专利]融合局部-全局字符级关联特征的中文命名实体识别方法

权利要求书

1.融合局部-全局字符级关联特征的中文命名实体识别方法，其特征在于所述方法包括如下步骤：

步骤1，对非结构化中文文本进行字符-数值向量表查找，包括：获取公开的基于语言模型训练的字符-数值向量表，然后依次选择非结构化中文文本中的字符，到字符-数值向量表中查找字符对应的数值向量并进行替换，将一段中文文本转化为一个初始数值向量序列；

步骤2，提取初始数值向量序列的特征，包括：使用两个双向长短时记忆提取字符级序列特征，再使用若干个注意力头和一个非线性神经网络层提取全局字符级关联特征，以及使用卷积注意力网络提取局部-全局字符级关联特征，然后将三者的输出在字符级别上串联，获得串联后的特征向量序列；

步骤3，标注串联后的特征向量序列，包括：使用一个线性链式条件随机场对串联后的特征向量序列进行标注，得到标签序列；

步骤4，对非结构化中文文本和标签序列进行后处理，包括：将非结构化中文文本和标签序列对齐，即字符和标签按前后顺序一一对应，然后根据标签判定命名实体，以“实体类别”对的形式输出。

2.根据权利要求1所述的融合局部-全局字符级关联特征的中文命名实体识别方法，其特征在于：步骤2中使用若干个注意力头同时处理初始数值向量序列，每个注意力头是一个基于点乘的软注意力模型Attention(QW_Q，KW_K，VW_V)，具体如式1所示；

Attention(QW_Q，KW_K，VW_V)＝softmax(QW_Q(KW_K)^T)VW_V (1)

其中Q、K和V都是初始数值向量序列构成的矩阵，W_Q、W_K和W_V为权重；

然后，若干个注意力头处理后的结果在字符级别上进行串联，如式2所示；

MultiHead(Q，K，V)＝Concat(head₁，...，head_h)W^O

其中和W^O是权重；

最后，使用一个非线性神经网络层进行后续处理，计算字符级关联特征向量序列对应的矩阵O，如式3所示；

O＝LeakyReLU(MultiHead(Q，K，V)W^N+b^N)+MultiHead(Q，K，V) (3)

其中，使用leaky ReLU函数作为激活函数，W^N为权重，b^N为偏置值。

3.根据权利要求1所述的融合局部-全局字符级关联特征的中文命名实体识别方法，其特征在于：步骤2中使用卷积注意力网络(CAN)处理初始数值向量序列，对于中文命名实体识别，输入的句子为X_i＝{x_i，1，x_i，2，x_i，3，...，x_i，τ}，其中表示句子X_i中第τ个字符，d_e是输入嵌入的维度；句子标签序列Y_i＝{y_i，1，y_i，2，y_i，3，...，y_i，τ}，其中即y_i，τ属于所有可能标签的集合；

对输入的句子进行编码，把局部文本中的意义相关字符组合起来；将位置嵌入组合到对应的训练好的字符嵌入后面，保持在局部窗口中的序列关系；位置嵌入的维度等于窗口大小k，位置嵌入中与字符在窗口中的位置对应的那一维的值是1，其他维的值是0；

在大小为k的窗口内应用局部注意力，捕获目标字符和窗口内每个字符间的关系；设隐层维度为d_h，对于第j个字符，局部注意力将所有的组合嵌入作为输入，输出对应的隐向量隐向量的计算方式为

s(x_j，x_k)＝v^Ttanh(W₁x_j+W₂x_k) (6)

其中

依次使用窗口大小为k、包含d_h个卷积核的卷积神经网络(CNN)和一个sum-pooling层进行处理，得到

其中而*代表元素乘，是隐向量的组合；

然后，使用一个双向门控循环单元(BiGRU)处理

是BiGRU前一时刻的隐状态，是参数；

最后，经过一个全局注意力层的处理得到作为输出；

其中与前面的相同。