[发明专利]一种基于多任务学习的命名实体识别方法及系统

说明书

本发明公开了一种基于多任务学习的命名实体识别方法及系统，方法包括：对命名实体进行位置和类别标注，生成包含命名实体起始位置值和类别的二元组作为标注数据；将附有标注数据的命名实体按照预设长度的句子输入到神经网络模型进行多任务识别训练，得到训练好的模型作为命名实体识别模型；将待识别的命名实体按照预设长度的句子输入到命名实体识别模型中，对应的起始位置值和实体类别的预测结果。本发明基于起始位置值和实体类别的二元组的标签标注，标注方式更加简单有效，一定程度上能降低预测复杂度，为后续的多任务学习奠定基础，通过多任务学习的方式对命名实体进行识别可以提升准确率。

技术领域

本发明涉及模型识别技术领域，具体涉及一种基于多任务学习的命名实体识别方法及系统。

背景技术

随着互联网技术的发展，网络中诞生了大量的文本数据，在众多数据挖掘技术中，知识图谱近年来发展迅速，知识图谱包括命名实体识别和关系抽取等关键环节。

在早期的研究中，一般利用专家规则与专家字典相结合的方法，进行实体抽取。专家词典是基于特定场景由专家给出相应的词典，并基于此进行知识匹配。专家规则指的是运用一些特定的简单规则，如组合词规则等，进行匹配。这种方法操作简单易于实现，但针对复杂的场景难以覆盖全面，且对新兴实体识别困难。近年来随着深度学习的发展，以LSTM+BERT+CRF的方法逐渐成为命名实体识别技术的主流，该技术在标注环节存在大量重复工作，且在模型训练环节效率较低。

发明内容

因此，本发明为了解决现有的命名实体识别方法效率低问题，提供一种基于多任务学习的命名实体识别方法及系统，可以提高命名实体的识别效率。

为达到上述目的，本发明提供如下技术方案：

第一方面，本发明实施例提供一种基于多任务学习的命名实体识别方法，包括：

对命名实体进行位置和类别标注，生成包含命名实体起始位置值和类别的二元组作为标注数据，其中起始位置值表征命名实体的起始位置和实体长度，类别表征位置长度为该起始位置值的文本所属实体类别；

将附有所述标注数据的命名实体按照预设长度的句子，输入到神经网络模型进行多任务识别训练，得到训练好的模型作为命名实体识别模型；

将待识别的命名实体按照预设长度的句子，输入到所述命名实体识别模型中，得到各个命名实体对应的起始位置值和实体类别的预测结果。

进一步地，所述命名实体识别模型，包括：输入层、特征提取层、由起始位置预测层和实体分类预测层组成的多任务学习层、预测结果输出层，其中：

特征提取层对输入层输入的数据进行特征提取得到特征向量，所述特征向量分别进入起始位置预测层和实体分类预测层得到对应的预测概率，通过输出层输出命名实体起始位置值和实体类别的预测结果。

进一步地，所述特征抽取层包括依次连接的嵌入层和串行的多个Transformer层，所述嵌入层用于对输入层输入的文本进行重编码及向量化，嵌入层的输出向量包括：经过映射得到的字向量E_token，其基于字的ID通过查询矩阵得到，以及字所在词在训练文本中的重要性E_weigt，其通过至少一种重要性排序算法求解得到，则嵌入层的输出向量

E_embedding＝E_token+E_weigt；

Transformer层采用多头自注意力机制采用Relu激活函数对E_embedding进行特征提取得到特征向量E。

进一步地，所述字所在词在训练文本中的重要性由重要性排序算法TFIDF和PageRank求解，得到E_weight＝[w_tfidf,w_pagerank]。