[发明专利]基于双神经网络融合的中文命名实体识别模型及方法

权利要求书

1.一种基于双神经网络融合的中文命名实体识别模型，其特征在于：

包括：

Bert嵌入层，用于将句子从一个字符序列转换到一个密集向量序列；

带有自注意力机制的Bi_LSTM层，从全程上下文学习字的隐性表示，并处理句子层信息，获取具有长距离依赖特征的上、下文信息；

堆叠DCNN层，将更广泛的上下文信息合并到标记中表示，并抽取文字的局部信息，获取具有广泛局部特征的上、下文信息；

CRF解码层，将双模型输出解码为序列标记，将命名实体通过序列标记标注的标签显性输出；

输入的句子为X＝{x₁,x₂,…,x_N},其中代表句子X中的第i个字，N代表句子长度，表示整个汉字空间；

标签序列Y＝{y₁,y₂,…,y_N}，其中代表在所有可能标签集合中第i个字的标签；

目标是学习一个函数f_θ:X→Y来获取输入文本中所有字的实体类型；

带有自注意力机制的Bi_LSTM层：用双向的LSTM从全程上下文来学习字的隐性表示，其计算表示如下：

e_i代表从Bert嵌入层输出的第i个字，分别代表LSTM的正向输出和逆向输出；

LSTM单元的计算如下：

i_t＝σ(W_i·[h_t-1，x_t]+b_i)

f_t＝σ(W_f·[h_t-1，x_t]+b_f)

o_t＝σ(W_o·[h_t-1，x_t]+b_o)

h_t＝o_t*tanh(C_t)

i、f、o分别代表输入门、遗忘门和输出门，x_t代表t时刻的输入向量，W_i、W_f、W_o、W_c和b_i、b_f、b_o、b_c分别表示输入连接、遗忘连接、输出连接、候选输出连接的训练参数和偏置向量，代表t时刻的候选输出值，C_t代表第t个单词的记忆单元，h_t代表第t个字的隐层输出向量；

σ代表sigmoid激活函数，tanh表示双曲正切激活函数，·表示点乘，

输入门和输出门乘以存储单元的输入向量和输出向量后得到当前时刻实际的输入值和输出值；

遗忘门乘以前一时刻的存储单元向量得到实际有用的历史信息；

将Bi_LSTM的正向输出与逆向输出的首尾相连进行拼接，使逆向输出放在正向输出末尾，得到第i个字的隐性表示向量h_i：

Bi_LSTM的输出层是h＝[h₁,h₂,…,h_N]，S是LSTM输出向量的维度；

自注意机制描述为将查询和一组键值对映射到输出，其中查询、键、值和输出都是向量，输出计算为值的加权和，其中分配给每个值的权重由查询与相应的键计算获得，

给定Bi_LSTM层的输出层h＝[h₁,h₂,…,h_N]，采用线性变换获得查询、键和对应的值，相应的计算如下：

q_i＝W_qh_i+b_q

k_i＝W_kh_i+b_k

v_i＝W_vh_i+b_v

其中，q_i、k_i、v_i分别代表查询向量、键向量和值向量，W_q、W_k和W_v分别为随机初始化的对应参数矩阵，b_q、b_k和b_v分别为对应的偏置向量；

应用全局自注意力机制处理字在句子层隐性表示如下：

i＝1,2,…,N代表句子中所有的字，是第i个字attention层输出，v_i为上面得到的值向量,a_i,j为attention得分系数，其计算如下：

其中s为两个向量间的点积运算，以获得向量间关联；

堆叠DCNN层：

通过BERT嵌入层，输入的句子被表示为e＝{e₁,e₂,…,e_N}，第j个扩展的卷积层扩展宽度δ为D_δ^(j)，网络的第一层的扩展卷积为D₁⁽⁰⁾，将向量表示转换为隐层表示h⁽¹⁾：

最高L层的扩展卷积在前一层输出的基础上应用带有ReLU的激活函数：

其中，j∈{1,2,…,L-1}，将最后一层的输出表示为：

h^dcnn＝h^(L)；

CRF解码和训练层：用一个CRF层来做序列标记，

表示自注意力层的输出为

DCNN层的输出为

将双模型生成的输出进行融合拼接，其结果表示如下：

h^f＝[h^attn，h^dcnn]

h^f为CRF层的输入，设标签序列Y＝{y₁,y₂,…,y_N},对给定输入h^f，标签序列Y的计算如下：

其中，Y(s)是句子s的一组所有可能标签序列，并且，是函数得分，其计算如下：

其中，W是输入值与当前输出间的转换矩阵,T是前项输出与当前输出间的转换矩阵。