[发明专利]数据蒸馏的方法、装置、电子设备和存储介质

权利要求书

1.一种数据蒸馏的方法，其特征在于，所述方法包括：

确定至少一批待训练的第一蒸馏数据；每一批所述第一蒸馏数据中存在至少一个包括两种数据标签信息的混合数据；

确定至少两个预训练模型；其中，每一所述预训练模型中存储原始数据的第一统计信息；

基于每一所述预训练模型中的第一统计信息，确定每一批所述第一蒸馏数据在相应预训练模型中的批归一化统计损失；

基于每一批所述第一蒸馏数据中每一数据的初始化标签，确定每一批所述第一蒸馏数据在每一所述预训练模型中的目标交叉熵损失；

基于每一批所述第一蒸馏数据在每一所述预训练模型中的批归一化统计损失和所述目标交叉熵损失，对每一批所述第一蒸馏数据进行反向传播训练，得到目标蒸馏数据。

2.如权利要求1所述的方法，其特征在于，所述基于每一所述预训练模型中的第一统计信息，确定每一批所述第一蒸馏数据在相应预训练模型中的批归一化统计损失，包括：

确定每一批所述第一蒸馏数据在每一所述预训练模型中的第二统计信息；

针对每一所述预训练模型，确定所述第一统计信息与所述第二统计信息之间的批归一化统计损失。

3.如权利要求1或2所述的方法，其特征在于，所述确定至少两个预训练模型，包括：

从预训练模型库中随机选择至少两个不同类型的预训练模型。

4.如权利要求1至3任一项所述的方法，其特征在于，所述基于每一批所述第一蒸馏数据在每一所述预训练模型中的批归一化统计损失和所述目标交叉熵损失，对每一批所述第一蒸馏数据进行反向传播训练，得到目标蒸馏数据，包括：

基于每一所述预训练模型的批归一化统计损失和所述目标交叉熵损失，确定相应预训练模型对应的第一损失；

对各个所述预训练模型对应的所述第一损失求均值，得到每一批所述第一蒸馏数据经过所述至少两个预训练模型的目标损失；

基于所述目标损失，对每一批所述第一蒸馏数据进行反向传播训练，得到所述目标蒸馏数据。

5.如权利要求1至4任一项所述的方法，其特征在于，所述确定至少一批待训练的第一蒸馏数据，包括：

基于原始数据的分布信息，初始化至少一批第二蒸馏数据；

在每一次迭代训练中，对每一批所述第二蒸馏数据中每两个图像数据进行混合，得到每一批所述第一蒸馏数据。

6.如权利要求5所述的方法，其特征在于，所述对每一批所述第二蒸馏数据中每两个图像数据进行混合，得到每一批所述第一蒸馏数据，包括：

从每一批所述第二蒸馏数据中随机选取至少一对第一图像和第二图像；

将每一所述第一图像的尺寸按照特定比例缩小；

将缩小后的所述第一图像随机覆盖到对应的所述第二图像中，得到每一批所述第一蒸馏数据。

7.如权利要求6所述的方法，其特征在于，所述将缩小后的所述第一图像覆盖到对应的所述第二图像中，得到每一批所述第一蒸馏数据，包括：

按照所述特定比例，在对应的所述第二图像中随机生成待覆盖的混合区域；

基于所述混合区域的边界框，随机生成二进制掩码；

通过所述二进制掩码对缩小后的所述第一图像的每一像素值和所述第二图像中对应的像素值进行叠加，得到每一批所述第一蒸馏数据。

8.如权利要求1至7任一项所述的方法，其特征在于，所述每一批第一蒸馏数据中包括由第一图像和第二图像混合得到的合成图像，所述基于每一批所述第一蒸馏数据中每一数据的初始化标签，确定每一批所述第一蒸馏数据在每一所述预训练模型中的目标交叉熵损失，包括：

基于所述第一图像的初始化标签和所述第二图像的初始化标签，确定所述合成图像的混合交叉熵损失；

基于所述每一批第一蒸馏数据中除所述第一图像和所述第二图像之外的其他图像的初始化标签，确定所述其他图像的累计交叉熵损失；

基于所述混合交叉熵损失和所述累计交叉熵损失，确定每一批所述第一蒸馏数据经过每一所述预训练模型后的目标交叉熵损失。