[发明专利]用于问答匹配的神经网络模型的训练方法和装置

说明书

本说明书实施例提供一种用于问答匹配的神经网络模型的训练方法和装置，方法包括：获取样本集合中的各用户问句以及各用户问句对应的分类标签；利用已训练的第一神经网络模型，预测各用户问句在各分类上的第一概率得分；利用待训练的第二神经网络模型，预测各用户问句在各分类上的第二概率得分，第二神经网络模型的层数小于第一神经网络模型的层数；根据第二概率得分和第一概率得分，得到第一损失函数；根据第二概率得分和各用户问句的分类标签，得到第二损失函数；将第一损失函数与第二损失函数组合为总损失函数；根据总损失函数，训练第二神经网络模型，能够在准确识别用户问句的基础上，降低资源消耗，提升处理速度。

技术领域

本说明书一个或多个实施例涉及计算机领域，尤其涉及用于问答匹配的神经网络模型的训练方法和装置。

背景技术

自然语言处理(natural language processing，NLP)，是一门研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法的科学。在NLP中，一个典型的应用就是针对用户问句的问答匹配，以实现由客服机器人根据问答匹配的结果回答用户问题。

在客服机器人系统中，出于准确识别用户问句的目的，通常地，用于问答匹配的神经网络模型结构复杂，非常消耗计算资源，处理速度慢，导致出现服务超时的情况。

因此，希望能有改进的方案，能够在准确识别用户问句的基础上，降低资源消耗，提升处理速度。

发明内容

本说明书一个或多个实施例描述了一种用于问答匹配的神经网络模型的训练方法和装置，能够在准确识别用户问句的基础上，降低资源消耗，提升处理速度。

第一方面，提供了一种用于问答匹配的神经网络模型的训练方法，方法包括：

获取样本集合中的各个用户问句以及各个用户问句对应的分类标签；

利用已训练的第一神经网络模型，预测各个用户问句在各个分类上的第一概率得分，其中所述第一神经网络模型的层数为N；

利用待训练的第二神经网络模型，预测各个用户问句在各个分类上的第二概率得分，其中，所述第二神经网络模型的层数为M，MN；

根据所述第二概率得分和所述第一概率得分，得到第一损失函数；

根据所述第二概率得分和各个用户问句的分类标签，得到第二损失函数；

将所述第一损失函数与所述第二损失函数进行组合，得到总损失函数；

根据所述总损失函数，对所述第二神经网络模型进行训练，得到初步训练的第二神经网络模型。

在一种可能的实施方式中，所述第一神经网络模型通过以下方式预先训练：

将各个用户问句以及各个用户问句对应的分类标签作为一组训练样本，对所述第一神经网络模型进行训练，得到所述已训练的第一神经网络模型。

在一种可能的实施方式中，所述根据所述第二概率得分和所述第一概率得分，得到第一损失函数，包括：

将所述第二概率得分除以预定参数后，经过归一化处理，得到各个用户问句的第一输出值；

根据各个用户问句的第一输出值和各个用户问句的第一概率得分，得到第一损失函数；所述第一概率得分为除以所述预定参数，并经过归一化处理后得到的。

在一种可能的实施方式中，所述根据所述第二概率得分和各个用户问句的分类标签，得到第二损失函数，包括：

将所述第二概率得分经过归一化处理，得到各个用户问句的第二输出值；

根据各个用户问句的第二输出值和各个用户问句的分类标签，得到第二损失函数。