[发明专利]一种多任务中文实体命名识别方法

说明书

本发明公开了一种多任务中文实体命名识别方法，包括以下步骤：(1)首先对数据进行预处理，划分数据集并进行标注任务设置；(2)通过BERT对输入的主任务数据和辅任务进行特征抽取；(3)对于主任务和辅任务分别采用双层的包括输入、隐藏和输出的LSTM神经网络模型对词向量进行分类训练；(4)将辅任务和主任务的训练好的隐藏层信息经过注意力机制层进行全连接(5)最后经过CRF层考虑了序列中的全局标签信息，输出最优的标签序列；(6)通过验证集对训练好的模型进行性能评估。本发明能够帮助研究者在海量的中文文本数据中高效地获取有价值的信息和知识，有效的缓解了人工抽取信息耗时耗力的问题，对进一步文本挖掘工作的具有重要意义。

技术领域

本发明涉及文本挖掘技术领域，具体涉及一种多任务中文实体命名识别方法。

背景技术

如今，对于英文文本的实体命名识别问题，已经被广泛研究。然而，中文NER仍然面临中文分词等挑战，往往很难定义一个词的构成。过去的中文NER任务，往往采用循环神经网络(RNN)提高模型在实体分类任务上的性能，但是RNN在长距离训练过程中存在梯度消失和梯度爆炸问题，长短期记忆模型(LSTM)，能够在更长序列中有更好的表现，并为RNN中的LSTM单元提出一个简单的调整技巧能够显著减少过拟合现象。双向长短期记忆网络(Bidirectional Long Short-Term Memory,BiLSTM)和条件随机场(CRF)结合的神经网络模型，将其用于NER或者词性标注，效果比单纯的CRF或者BiLSTM效果都要好，这种双向结构能够获取上下文的序列信息,因此在命名实体识别等任务中得到相当广泛的应用。

由于中文命名实体识别的实体边界难以划分，存在分词错误、词表外(OOV)等问题，BILSTM作为特征抽取器效果并不理想。对于词向量的预训练，都是基于词、字符的特征提取，忽略了词在上下文的相关信息，提取的是一种不包含上下文语境的静态词向量，因此也导致了模型有关实体识别能力的下降。BERT预训练模型可以很好的解决上述问题，它是一个基于微调的多层双向Transformer编码器。BERT可以进一步提高了词向量模型的泛化能力,充分描述字符级、词级、句子级甚至句间关系特征,结合了上下文的语境和语义信息，从而提高模型的实体识别能力。

为了进一步提高NER模型的性能，研究人员继续提出各种尝试，例如将各种最新方法集成到现有工具中，以提高模型性能，然而，如何在现有方法的基础上进一步提高NER系统的性能，特别是在数据集有限的情况下，如何进一步提高NER的性能仍是一个值得研究的领域。

多任务学习(MTL)就是研究方向之一，它通过使用多个相关标记数据集来训练目标模型，从而提高模型在单个数据集上的性能。由于相关数据集可能包含有效的辅助信息，有助于模型在联合训练后更有效地解决单个数据集的任务。

发明内容

本发明要解决的技术问题是，克服现有技术存在的上述缺陷，提供一种提高实体标准水平的高可用性、高效率的一种基于BERT和BiLSTM-AM-CRF的多任务中文实体命名识别方法，模型通过训练集来拟合数据样本，通过验证集调整模型的超参数，在测试集评估模最终模型的泛化能力。

为了实现上述技术目的，本发明的技术方案是，

一种多任务中文实体命名识别方法，包括以下步骤：

步骤一，获取至少两个不同的已标注中文语句数据集，并进行预处理；

步骤二，构建包括双向编码器\解码器、双层长短期记忆网络层、注意力网络、隐藏层和条件随机场层的BERT--BiLSTM-CRF网络结构，其中编码器、解码器、双层长短期记忆网络层和条件随机场层均包括两个平行的相同结构，且两个双层长短期记忆网络层通过同一个注意力网络输出到同一个隐藏层；

步骤三，通过包括解码器和编码器的预训练部分BERT分别对不同的数据集进行特征抽取，获取词向量；