[发明专利]数据蒸馏的方法、装置、电子设备和存储介质

说明书

本申请实施例公开了一种数据蒸馏的方法、装置、电子设备和存储介质，所述方法包括：确定至少一批待训练的第一蒸馏数据；确定至少两个预训练模型；基于每一所述预训练模型中的第一统计信息，确定每一批所述第一蒸馏数据在相应预训练模型中的批归一化统计损失；基于每一批所述第一蒸馏数据中每一数据的初始化标签，确定每一批所述第一蒸馏数据在每一所述预训练模型中的目标交叉熵损失；基于每一批所述第一蒸馏数据在每一所述预训练模型中的批归一化统计损失和所述目标交叉熵损失，对每一批所述第一蒸馏数据进行反向传播训练，得到目标蒸馏数据。

技术领域

本申请涉及计算机视觉领域，涉及但不限定于数据蒸馏的方法、装置、电子设备和存储介质。

背景技术

大数据时代深度学习模型运用的越来越频繁，为了将深度学习模型应用到移动设备、传感器等小型设备，有时必须将模型进行压缩裁剪才能部署到小型设备。

神经网络的压缩通常需要原始的训练数据，这是因为压缩后的模型一般还需要进行训练才能恢复之前的性能。然而原始数据在有些情况下是具有私密性的，即原始数据面临着无法获得的风险。

发明内容

本申请实施例提供一种数据蒸馏的方法、装置、电子设备和存储介质。

本申请实施例的技术方案是这样实现的：

第一方面，本申请实施例提供一种数据蒸馏的方法，包括：确定至少一批待训练的第一蒸馏数据；每一批所述第一蒸馏数据中存在至少一个包括两种数据标签信息的混合数据；确定至少两个预训练模型；其中，每一所述预训练模型中存储原始数据的第一统计信息；基于每一所述预训练模型中的第一统计信息，确定每一批所述第一蒸馏数据在相应预训练模型中的批归一化统计损失；

基于每一批所述第一蒸馏数据中每一数据的初始化标签，确定每一批所述第一蒸馏数据在每一所述预训练模型中的目标交叉熵损失；基于每一批所述第一蒸馏数据在每一所述预训练模型中的批归一化统计损失和所述目标交叉熵损失，对每一批所述第一蒸馏数据进行反向传播训练，得到目标蒸馏数据。

在一些可能的实施例中，所述基于每一所述预训练模型中的第一统计信息，确定每一批所述第一蒸馏数据在相应预训练模型中的批归一化统计损失，包括：确定每一批所述第一蒸馏数据在每一所述预训练模型中的第二统计信息；针对每一所述预训练模型，确定所述第一统计信息与所述第二统计信息之间的批归一化统计损失。

这样，通过匹配每一预训练模型中第一蒸馏数据和原始数据之间的统计损失，并进一步通过确定目标损失同时匹配第一蒸馏数据和多个预训练模型的特征，将各个预训练模型的通用特征空间结合起来，从而使得训练得到的目标蒸馏数据相比于单模型蒸馏的数据更加通用。

在一些可能的实施例中，所述确定至少两个预训练模型，包括：从预训练模型库中随机选择至少两个不同类型的预训练模型。

这样，对每一批待训练的第一蒸馏数据，从预训练库中随机采样至少两个不同类型的预训练模型用于特征混合，使得蒸馏出来的数据匹配出任意预训练模型的特征分布，从而能够获得更好的训练速度和效果平衡。

在一些可能的实施例中，所述基于每一批所述第一蒸馏数据在每一所述预训练模型中的批归一化统计损失和所述目标交叉熵损失，对每一批所述第一蒸馏数据进行反向传播训练，得到目标蒸馏数据，包括：基于每一所述预训练模型的批归一化统计损失和所述目标交叉熵损失，确定相应预训练模型对应的第一损失；对各个所述预训练模型对应的所述第一损失求均值，得到每一批所述第一蒸馏数据经过所述至少两个预训练模型的目标损失；基于所述目标损失，对每一批所述第一蒸馏数据进行反向传播训练，得到所述目标蒸馏数据。

这样，通过结合目标交叉熵损失和批归一化统计损失得到一批第一蒸馏数据针对每一预训练模型的第一损失，进而对每一所述预训练模型对应的第一损失进行线性整合得到目标损失，可以平均每个预训练模型产生的特征偏差，从而使得最终得到的目标蒸馏数据更通用。