[发明专利]神经网络训练方法和装置及命名实体识别方法和装置

说明书

本发明公开了神经网络训练方法和装置及命名实体识别方法和装置。其中，用于命名实体识别的神经网络的训练方法包括：获取训练文本，以及获取训练文本的标注信息，其中，获取训练文本的标注信息包括：命名实体识别用的辅助标注和命名实体标注；将训练文本输入至所述一个或多个辅神经网络，得到每个辅神经网络输出的命名实体识别用的辅助信息；将训练文本和至少一个辅神经网络输出的辅助信息输入至主神经网络，得到主神经网络输出的命名实体信息；基于每个辅神经网络输出的辅助信息和相应的辅助标注，以及所述主神经网络输出的命名实体信息和相应的命名实体标注，计算神经网络的损失，并根据神经网络的损失对所述神经网络进行训练。

技术领域

本发明涉及命名实体识别，尤其涉及用于命名实体识别的神经网络的训练方法和装置以及基于神经网络的命名实体识别方法和装置。

背景技术

命名实体识别(Named Entity Recognition,NER)是一种把文本中出现的命名实体识别出来并加以归类的技术。例如，命名实体可包括三大类(实体类、时间类和数字类)、七小类(人名、机构名、地名、时间、日期、货币和百分比)命名实体。命名实体识别是自然语言处理中的一项基础性工作,同时也是很多应用(例如，信息检索、信息抽取以及机器翻译等)中的关键技术。因此，研究命名实体的自动识别具有重要的理论意义和实践价值。

随着对命名实体识别技术的需求不断提高，对命名实体识别技术的要求也越来越高。然而，现有的命名实体识别技术，没有充分利用训练语料中的信息，这导致命名实体识别的准确率较低。同时在多任务场景下，没有高效地利用其它任务的相关性，这使得命名实体识别的计算量往往偏大。

发明内容

本发明的目的在于提供一种用于命名实体识别的神经网络的训练方法和装置以及基于神经网络的命名实体识别方法和装置。

本发明的一方面提供一种用于命名实体识别的神经网络的训练方法，其中，所述神经网络包括一个主神经网络以及一个或多个辅神经网络，所述训练方法包括：获取训练文本，以及获取训练文本的标注信息；其中，训练文本的标注信息包括：命名实体识别用的辅助标注和命名实体标注；将训练文本输入至所述一个或多个辅神经网络，得到每个辅神经网络输出的命名实体识别用的辅助信息；将训练文本和至少一个辅神经网络输出的辅助信息输入至主神经网络，得到所述主神经网络输出的命名实体信息；基于每个辅神经网络输出的辅助信息和相应的辅助标注，以及所述主神经网络输出的命名实体信息和相应的命名实体标注，计算神经网络的损失，并根据神经网络的损失对所述神经网络进行训练。

可选地，当所述神经网络包括一个辅神经网络时，所述一个辅神经网络对应的辅助信息为分词信息或词性信息；当所述神经网络包括两个辅神经网络时，所述两个辅神经网络对应的辅助信息分别为分词信息和词性信息。

可选地，主神经网络和每个辅神经网络均包括文本转换层、特征层和分类层，且主神经网络和各辅神经网络共用文本转换层和特征层；所述将训练文本输入至所述一个或多个辅神经网络，得到每个辅神经网络输出的命名实体识别用的辅助信息，以及所述将训练文本和至少一个辅神经网络输出的辅助信息输入至主神经网络，得到所述主神经网络输出的命名实体信息包括：将训练文本输入到经过预训练的文本转换层，得到文本转换层输出的字相关信息；将文本转换层输出的字相关信息输入到特征层，获得特征层输出的训练文本中的字和上下文字相关信息的关系信息；将文本转换层的输出和特征层的输出拼接在一起后，分别输入到主神经网络和每个辅神经网络的分类层，并将至少一个辅神经网络的分类层的输出信息输入到主神经网络的分类层。