[发明专利]一种基于生物医学领域预训练模型的命名实体识别方法

权利要求书

1.一种基于生物医学领域预训练模型的命名实体识别方法，其特征在于，包括以下步骤：

对于输入的文本的每个词汇对应预训练结果中的词表进行分词处理，通过BioBERT的Embedding层赋予初始权重；

对于超过max_batch_size的句子进行截断；连接所有的句子对，对于句首使用[CLS]标签，句尾使用[SEP]标签；

通过在PubMed和PMC文本下预训练完成的BioBERT模型进行第一特征提取；

将BioBERT结构的输出再次通过BiLSTM网络模型进行第二特征提取；

使用CRF网络对第二特征提取得到的特征进行识别。

2.根据权利要求1所述的一种基于生物医学领域预训练模型的命名实体识别方法，其特征在于，BioBERT模型进行第一特征提取过程中，利用自注意力机制提取权重，在提取权重过程中随机遮住15％的单词，遮住的15％的单词中的80％用masked token代替，10％用随机一个词来代替，10％保持这个词不变。

3.根据权利要求2所述的一种基于生物医学领域预训练模型的命名实体识别方法，其特征在于，BioBERT模型进行第一特征提取过程中，利用自注意力机制提取权重表示为：

其中，Attention(Q,K,V)为自注意力机制权重；Q、K、V分别为输入的词向量分别与三个不同的权值矩阵相乘得到的加权词向量；d_k为输入向量维度。

4.根据权利要求1所述的一种基于生物医学领域预训练模型的命名实体识别方法，其特征在于，BiLSTM网络模型包括多个级联的LSTM神经元，单个LSTM神经元包括遗忘门、记忆门以及输出门，根据输入的文本以及上一级LSTM神经元的输出提取特征，该过程包括：

f_t＝σ(W_fxx_t+W_fhh_t-1+b_f)，

i_t＝σ(W_ixx_t+W_ihh_t-1+b_i)，

o_t＝σ(W_oxx_t+W_ohh_t-1+b_o)，

其中，σ是sigmoid函数，h_t-1是指前一个LSTM单元输出的隐藏层状态，x_t是指当前输入到LSTM单元的词嵌入向量，f_t指遗忘门，i_t表示记忆门，为用于控制记忆门输入的信息比例；W_ix为记忆门输入的计算权值；W_ih为记忆门隐藏层的计算权值；b_i为计算门计算偏置；W_fx为遗忘门输入的计算权值；W_fh为遗忘门隐藏层的计算权值；b_f为遗忘门计算偏置；W_ox为输出门输入的计算权值；W_oh为输出门隐藏层的计算权值；b_o为输出门的计算偏置。。

5.根据权利要求4所述的一种基于生物医学领域预训练模型的命名实体识别方法，其特征在于，第t个神经LSTM单元LSTM单元h_t表示为：

其中，为用于控制记忆门输入的信息比例。

6.根据权利要求4或5所述的一种基于生物医学领域预训练模型的命名实体识别方法，其特征在于，用于控制记忆门输入的信息比例表示为：

其中，W_cx为记忆门对输入信息比例控制计算的权值；W_ch为记忆门对隐藏层输入比例控制计算的权值；b_c为记忆门比例控制计算的偏置。