[发明专利]一种基于预训练编码特征分层加工的细粒度命名实体识别方法

说明书

本发明公开一种基于预训练编码特征分层加工的细粒度命名实体识别方法，涉及自然语言处理技术领域，本发明利用预训练模型ALBERT得到中文预训练编码向量，然后进一步层次化地提取前述预训练特征中的有用的双向的上下文特征，并对这些特征进行融合。继而利用监督学习技术和条件随机场CRF进行最优解求解的优势，来准确优化目标函数，从而自动学习模型参数，以提升模型在待识别数据集上的识别效果。实验表明，采用本发明实施例，可以有效解决细粒度命名实体识别的问题，并且达到较好的识别效果。

技术领域

本发明涉及自然语言处理技术领域，具体来说涉及命名实体识别技术领域，更具体地，涉及一种基于预训练编码特征分层加工的细粒度命名实体识别方法。

背景技术

BERT是一种基于Transformers编码器的大规模预训练语言模型。近年来，BERT在很多下游任务上都展现出了强大的实力。命名实体识别(Named Entity Recognition,简称NER)，是自然语言处理中的一项基础任务，应用范围非常广泛。

传统机器学习的命名实体识别的方法，该方法将命名实体识别任务形式化序列标注任务，通过预测每个字或者词的标签，联合预测实体边界和实体类型，具有严重依赖于词典库、无法识别实体嵌套情况、无法表征字或者词的多义性、不具有迁移性等缺点。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提供本发明针对目前技术发展的需求和不足之处，提供一种基于预训练编码特征分层加工的细粒度命名实体识别方法。该方法包括以下内容：

获取训练数据，所述训练数据包括文本、标注出所述文本中的命名实体名称以及对应的实体类型，所述实体类型包括细粒度命名实体，将原始数据集分成训练集、验证集和测试集；

构建BERT_3BiLSTM_CRF模型，BERT_3BiLSTM_CRF模型包括预训练编码层、特征加工层、结果解码层，利用预训练模型进行预编码，获得待识别文本的初始向量表示，将初始向量输入由3个双向长短记忆网络提取上下文特征和层次化的序列特征，最后使用CRF模型来计算命名实体的最可能类别。

根据所述的BERT_3BiLSTM_CRF模型，识别输入语料中的细粒度命名实体。

进一步地，预训练模型层是根据语料情况来选择不同模型，如中文语料可以选择RoBERTa-zh-Large或ALBERT。

进一步地，加工层是由3个双向长短记忆网络层组成的，每个 BiLSTM网络都包括两个方向相反的LSTM网络，在每个BiLSTM网络中，两个LSTM网络中的一个从头到尾建模句子，而另一个网络从后到前建模。在相反方向的两个LSTM完成句子的处理后，将自动拼接两组特征向量。

进一步地，特征加工层使用了残差连接机制，即将不同层的网络所输出的特征向量进行点对点合并，这样的优势是可以增强语义表示中的特征权重。我们的第一个BiLSTM网络训练的特征张量的输出和经过三个BiLSTM网络训练的特征空间以点对点的方式合并。换句话说，合并后的特征张量尺寸不变，仅加和了对应位置的权重值。

进一步地，所述结果编码层是由Dense网络、Softmax网络和CRF 网络组成。

进一步地，所述Dense网络输出单元数应与命名实体的所有标记类型的数相同。

进一步地，所述CRF网络添入一些约束以确保最终预测结果有效，优选使用维特比算法(Viterbi)，以确保获得最优的解。

本发明的有益效果是：本发明构建了BERT_3BiLSTM_CRF命名实体识别模型，通过预训练语言模型增强字的语义表示，使用3个双向长短记忆网络层和残差连接机制增强语义表示中的特征权重，CRF网络添入一些约束以确保最终预测结果有效，提高了命名实体识别的精度和有较好的迁移性和泛化性等优点。

附图说明