[发明专利]用于问答匹配的神经网络模型的训练方法和装置

权利要求书

1.一种用于问答匹配的神经网络模型的训练方法，所述方法包括：

获取样本集合中的各个用户问句以及各个用户问句对应的分类标签；

利用已训练的第一神经网络模型，预测各个用户问句在各个分类上的第一概率得分，其中所述第一神经网络模型的层数为N；

利用待训练的第二神经网络模型，预测各个用户问句在各个分类上的第二概率得分，其中，所述第二神经网络模型的层数为M，MN；

根据所述第二概率得分和所述第一概率得分，得到第一损失函数；

根据所述第二概率得分和各个用户问句的分类标签，得到第二损失函数；

将所述第一损失函数与所述第二损失函数进行组合，得到总损失函数；

根据所述总损失函数，对所述第二神经网络模型进行训练，得到初步训练的第二神经网络模型；

将各个用户问句以及各个用户问句对应的分类标签作为一组训练样本，对初步训练的第二神经网络模型继续进行训练，得到继续训练后的第二神经网络模型。

2.如权利要求1所述的方法，其中，所述第一神经网络模型通过以下方式预先训练：

将各个用户问句以及各个用户问句对应的分类标签作为一组训练样本，对所述第一神经网络模型进行训练，得到所述已训练的第一神经网络模型。

3.如权利要求1所述的方法，其中，所述根据所述第二概率得分和所述第一概率得分，得到第一损失函数，包括：

将所述第二概率得分除以预定参数后，经过归一化处理，得到各个用户问句的第一输出值；

根据各个用户问句的第一输出值和各个用户问句的第一概率得分，得到第一损失函数；所述第一概率得分为除以所述预定参数，并经过归一化处理后得到的。

4.如权利要求1所述的方法，其中，所述根据所述第二概率得分和各个用户问句的分类标签，得到第二损失函数，包括：

将所述第二概率得分经过归一化处理，得到各个用户问句的第二输出值；

根据各个用户问句的第二输出值和各个用户问句的分类标签，得到第二损失函数。

5.如权利要求1所述的方法，其中，所述将所述第一损失函数与所述第二损失函数进行组合，得到总损失函数，包括：

将所述第一损失函数乘以第一权重，将所述第二损失函数乘以第二权重，对二者求和，得到总损失函数，其中，第一权重大于第二权重。

6.如权利要求1所述的方法，其中，所述方法还包括：

利用所述继续训练后的第二神经网络模型，预测当前用户问句所属的类别。

7.如权利要求1所述的方法，其中，所述待训练的第二神经网络模型为经过预训练的上下文全向预测模型，所述第二神经网络模型的预训练任务包括完形填空与上下句判断两个任务。

8.如权利要求1所述的方法，其中，所述第二神经网络模型的层数为2。