[发明专利]一种基于预训练编码特征分层加工的细粒度命名实体识别方法

权利要求书

1.一种基于预训练编码特征分层加工的细粒度命名实体识别方法，其特征在于，该方法包括以下内容：

获取训练数据，所述训练数据包括文本、标注出所述文本的命名实体名称以及对应的实体类型，所述实体类型包括细粒度命名实体，将原始数据集分成训练集、验证集和测试集；

构建BERT_3BiLSTM_CRF模型，BERT_3BiLSTM_CRF模型包括预训练编码层、特征加工层、结果解码层，利用预训练模型进行预编码，获得待识别文本的初始向量表示，将初始向量输入由3个双向长短记忆网络层次化地提取上下文特征和序列特征，最后使用CRF模型来计算命名实体的最可能类别。

根据所述的BERT_3BiLSTM_CRF模型，识别输入语料中的细粒度命名实体。

2.根据权利要求1所述的一种基于预训练编码特征分层加工的细粒度命名实体识别方法，其特征在于，预训练编码层是根据语料情况来选择不同模型，如中文语料可以选择RoBERTa-zh-Large或ALBERT。

3.根据权利要求1所述的一种基于预训练编码特征分层加工的细粒度命名实体识别方法，其特征在于，所述的特征加工层是由3个双向长短记忆(BiLSTM)网络组成的，每个BiLSTM网络都包括两个方向相反的LSTM网络，在每个BiLSTM网络中，两个LSTM网络中的一个从头到尾建模句子，而另一个网络从后到前建模。在相反方向的两个LSTM完成句子的处理后，将自动拼接两组特征向量。

4.根据权利要求1所述的一种基于预训练编码特征分层加工的细粒度命名实体识别方法，其特征在于，所述特征加工层使用了残差连接机制，即将不同层的网络所输出的特征向量进行点对点合并，这样的优势是可以增强语义表示中的特征权重。我们的第一个BiLSTM网络训练的特征张量的输出和经过三个BiLSTM网络训练的特征空间以点对点的方式合并。换句话说，合并后的特征张量尺寸不变，仅加和了对应位置的权重值。

5.根据权利要求1所述的一种基于预训练编码特征分层加工的细粒度命名实体识别方法，其特征在于，所述结果解码层是由Dense网络、Softmax网络和CRF网络组成。

6.根据权利要求5所述的一种基于预训练编码特征分层加工的细粒度命名实体识别方法，其特征在于，所述Dense网络输出单元数应与命名实体的所有标记类型的数量相同。

7.根据权利要求5所述的一种基于预训练编码特征分层加工的细粒度命名实体识别方法，其特征在于，所述CRF网络添入一些约束以确保最终预测结果有效，优选使用维特比算法(Viterbi)，以确保获得最优的解。