[发明专利]分类模型训练方法、装置、计算设备及存储介质

说明书

本申请实施例提供一种分类模型训练方法、装置、计算设备及存储介质，其中，方法包括将训练样本输入分类模型，得到训练样本属于每个类别的预测概率分布；计算目标损失和惩罚项，其中惩罚项用于指示预测概率分布中负类的离散程度。将目标损失与惩罚项之和记为总损失，根据总损失更新分类模型参数。在传统模型训练中，由于损失函数的局限性，忽略了模型对负类预测的准确度。本申请将负类分布的离散程度作为惩罚项引入模型损失构建新型损失函数，提升原有损失函数的性能，提高了模型的预测能力。

技术领域

本申请涉及深度学习领域，具体涉及一种分类模型训练方法、装置、计算设备及存储介质。

背景技术

多分类任务的目的是对一个输入数据赋予合适的类别标签。在多分类任务中，数据的类别标签仅有一个，通过分类模型预测类别标签概率，将概率最大的标签作为数据的类别。

在分类模型的训练中使用损失函数来进行参数更新，多分类任务中常用的损失函数为交叉熵损失。但交叉熵损失函数只关心对于正类标签预测概率的准确性，在实际使用中导致训练出的模型预测准确度低，无法取得很好的效果。

发明内容

本申请提供一种分类模型训练方法、装置、计算设备及存储介质，将模型对负类标签预测的准确度纳入模型损失的计算，提高分类模型的预测能力。

第一方面，本申请提供一种分类模型训练方法，包括：将训练样本输入分类模型，得到训练样本属于每个类别的预测概率分布，预测概率分布为分类模型预测的训练样本属于每个类别的预测概率；根据预测概率分布与训练样本的实际标签分布，计算目标损失，实际标签分布为训练样本属于每个类别的实际概率，目标损失用于指示分类模型预测概率分布与实际标签分布之间的误差；根据预测概率分布中负类的预测概率分布，计算惩罚项，惩罚项用于指示预测概率分布中负类的离散程度；将目标损失与惩罚项之和记为总损失，根据总损失更新分类模型参数，得到训练好的分类模型。

分类模型为自监督预训练模型，需要使用训练样本对模型进行训练，根据模型预测结果计算模型损失，向减少模型损失的方向进行反向传播更新分类模型参数，从而提高分类模型的预测能力。

在一种可能的实现方式中，根据预测概率分布中负类的预测概率分布，计算惩罚项，包括：获取预测概率分布中负类的预测概率分布；根据负类的预测概率分布计算负类的预测概率分布的方差；根据分类标签数、正类标签数以及负类的预测概率分布的方差，确定惩罚项。

原有的损失函数只关注到了模型对正类的预测是否准确而忽略了负类分布的情况，出于减少模型误判的考虑，结果中正负类概率的差别更明显的预测效果更好。将负类预测概率分布的方差作为惩罚项，使得负类结果分布更均匀的结果模型损失更小。

在一种可能的实现方式中，根据预测概率分布中负类的预测概率分布，计算惩罚项，包括：获取预测概率分布中负类的预测概率分布；根据负类的预测概率分布计算负类的预测概率分布的极差，极差为负类的预测概率分布中最大预测概率与最小预测概率之差；根据负类的预测概率分布的极差，确定惩罚项。

原有的损失函数只关注到了模型对正类的预测是否准确而忽略了负类分布的情况，出于减少模型误判的考虑，结果中正负类概率的差别更明显的预测效果更好。将负类预测概率分布的极差作为惩罚项，使得负类结果分布更均匀的结果模型损失更小。

在一种可能的实现方式中，根据预测概率分布与训练样本的实际标签分布，计算目标损失包括：根据预测概率分布中第i个类别的预测概率与第i个类别的实际概率，计算交叉熵损失作为目标损失，其中，i的取值为1到N，N为分类标签数。

在一种可能的实现方式中，根据总损失更新分类模型参数，得到训练好的分类模型包括：基于总损失进行反向传播，得到分类模型中多个网络层的梯度；基于多个网络层的梯度，对多个网络层进行参数更新。