[发明专利]通过计算机训练预测模型的方法及装置

说明书

本说明书实施例提供一种通过计算机训练预测模型的方法和装置，可以将较前周期状态下的预测模型，作为较后周期的预测模型的老师模型，仅需要老师模型的历史概率分布，和样本标签一起为模型参数的调整指引方向。由于每个训练周期中，各个状态下的输入样本都随机抽取，如果当前训练周期当前状态下输入的当前样本有多个，则这多个样本可以携带有历史训练周期中不同状态下的模型参数信息，相当于同时向多个老师模型学习，加快学习效率，提升模型学习效果。同时，存储的数据仅为各个样本在相关历史周期的概率分布，以较低的计算成本和存储成本，达到同时向多个老师模型学习的效果，可以提高模型训练的有效性。

技术领域

本说明书一个或多个实施例涉及计算机技术领域，尤其涉及通过计算机训练预测模型的方法及装置。

背景技术

深度神经网络在计算机视觉、自然语言处理等等领域具有远超过传统方法的效果，成为人工智能领域较常用的方法。通常来讲，神经网络的深度越深，期望的预测效果越好。但深度神经网络的训练存在过拟合、梯度消失、训练震荡等问题，使其用普通的梯度下降优化方法难以达到非常好的预测效果。很多工作证明在训练过程中老师-学生模型对提升神经网络的效果有很大帮助。具体做法为将前面训练过程的模型作为后面训练过程的老师，用于指导后面的训练过程，从而使训练过程更稳定，提升神经网络的效果。

常规技术的老师-学生模型(Teacher-Student Framework)中，学生模型是最终需要的目标神经网络模型，老师模型是另外一个训练好的神经网络，在用训练数据对学生模型的训练过程中，老师模型对训练数据做出自己的预测输出，这些预测输出用于指导学生模型的训练，因此学生模型在训练过程中不仅要学会预测样本正确的标签，还要是自己输出的概率分布和老师模型的尽可能相似。训练过程中老师模型的参数保持不变，学生模型的参数会进行调整。

为了提高准确度，常规技术还通过学生模型向多个老师模型学习的方式进行模型训练。由于在一个训练过程中要向多个老师模型学习，需要存储所有老师模型的参数，以及在每个样本训练的时候，都需要计算所有老师模型预测的概率分布。当老师模型数量较大，或者训练样本较多时，存储空间开销和计算时间成本都会大大增加。

发明内容

本说明书一个或多个实施例描述了一种为预测模型生成样本、预测模型训练的方法及装置，可以利用用户在意图识别场景中的选择数据，生成预测模型的训练样本。

根据第一方面，提供了一种通过计算机训练预测模型的方法，所述预测模型用于对业务数据进行处理，确定所述业务数据对应到预先确定的各个类别上的概率，以对所述业务数据进行分类操作，所述预测模型训练过程包括多个训练周期，各个训练周期对所有训练样本按照随机顺序进行遍历，其中，针对当前训练周期中的当前样本，所述方法包括：将所述当前样本的特征数据输入所述预测模型，得到所述预测模型对所述当前样本预测的当前概率分布，所述当前概率分布描述所述当前样本在各个类别上分别对应的各个当前预测概率；根据所述当前样本对应的样本标签，以及各个当前预测概率，向损失函数的值减小的方向，确定对模型参数的第一调节指标；获取所述当前训练周期之前的若干训练周期中，所述当前样本的历史概率分布，所述历史概率分布用于描述针对所述当前样本在所述若干训练周期中各个类别上分别对应的各个历史预测概率；利用所述历史概率分布与所述当前概率分布的对比，确定对模型参数的第二调节指标；基于所述第一调节指标和所述第二调节指标，调整模型参数，以训练所述预测模型。

在一个实施例中，所述当前样本包括预定数量的训练样本，所述模型参数包括第一模型参数，所述第一模型参数在所述第一调节指标中对应第一调节量值；所述根据所述当前样本对应的样本标签，以及各个当前预测概率，向损失函数的值减小的方向，确定对模型参数的第一调节指标包括：针对所述预定数量的训练样本中的各个训练样本，向损失函数的值减小的方向，分别确定对所述第一模型参数的各个调节量值；将各个调节量值的平均值作为所述第一调节量值。