[发明专利]神经网络训练方法和装置及命名实体识别方法和装置

权利要求书

1.一种用于命名实体识别的神经网络的训练方法，其中，所述神经网络包括一个主神经网络以及一个或多个辅神经网络，主神经网络和每个辅神经网络均包括文本转换层、特征层和分类层，且主神经网络和各辅神经网络共用文本转换层和特征层，所述训练方法包括：

获取训练文本，以及获取训练文本的标注信息，其中，训练文本的标注信息包括：命名实体识别用的辅助标注和命名实体标注；

将训练文本输入到经过预训练的文本转换层，得到文本转换层输出的字相关信息；

将文本转换层输出的字相关信息输入到特征层，获得特征层输出的训练文本中的字和上下文的关系信息；

将文本转换层的输出和特征层的输出拼接在一起后，分别输入到主神经网络和每个辅神经网络的分类层，并将至少一个辅神经网络的分类层的输出信息输入到主神经网络的分类层，得到所述主神经网络输出的命名实体信息；

基于每个辅神经网络输出的辅助信息和相应的辅助标注，以及所述主神经网络输出的命名实体信息和相应的命名实体标注，计算神经网络的损失，并根据神经网络的损失对所述神经网络进行训练。

2.如权利要求1所述的训练方法，其中，

当所述神经网络包括一个辅神经网络时，所述一个辅神经网络对应的辅助信息为分词信息或词性信息；

当所述神经网络包括两个辅神经网络时，所述两个辅神经网络对应的辅助信息分别为分词信息和词性信息。

3.如权利要求1所述的训练方法，其中，

所述文本转换层为嵌入层；

所述将训练文本输入到经过预训练的文本转换层，得到文本转换层输出的字相关信息包括：将训练文本输入到经过预训练的嵌入层，得到嵌入层输出的字相关信息；

或者，

所述文本转换层为语言模型；

所述将训练文本输入到经过预训练的文本转换层，得到文本转换层输出的字相关信息包括：将训练文本输入到经过预训练的语言模型，得到语言模型输出的字相关信息；

或者，

所述文本转换层包括嵌入层和语言模型；

所述将训练文本输入到经过预训练的文本转换层，得到文本转换层输出的字相关信息包括：将训练文本分别输入到经过预训练的嵌入层和语言模型，将嵌入层和语言模型的输出拼接后得到字相关信息。

4.如权利要求1所述的训练方法，其中，当所述神经网络包括第一辅神经网络和第二辅神经网络，且两个辅神经网络对应的辅助信息分别为分词信息和词性信息时，

所述将至少一个辅神经网络的分类层的输出信息输入到主神经网络的分类层包括：将第一辅神经网络的分类层输出的分词信息输入到第二辅神经网络的分类层，得到第二辅神经网络的分类层输出的词性信息，将所述词性信息或者将所述分词信息和词性信息输入到主神经网络的分类层。

5.如权利要求1所述的训练方法，其中，

每个辅神经网络的分类层均由全连接层和归一化层组成，主神经网络的分类层为线性链条件随机场层；

或者，

每个辅神经网络和主神经网络的分类层均为线性链条件随机场层；

或者，

每个辅神经网络和主神经网络的分类层均由全连接层和归一化层组成。

6.如权利要求1所述的训练方法，其中，所述训练方法进一步包括：

对训练文本的标注信息进行编码；

所述训练方法进一步包括：对主神经网络输出的命名实体信息进行解码。

7.如权利要求6所述的训练方法，其中，

所述对训练文本的标注信息进行编码包括：对辅助标注使用BMES编码，对命名实体标注使用OBMES编码，并将编码后的标注信息分别映射到不同的数字，并对所述不同的数字分别进行独热编码，

所述对主神经网络输出的命名实体信息进行解码包括：根据OBMES编码来对主神经网络输出的命名实体信息进行解码。