[发明专利]一种深度学习图像编解码网络的蒸馏训练方法与系统

权利要求书

1.一种深度学习图像编解码网络的蒸馏训练方法，其特征在于，包括：

第一阶段：构建包含教师编解码模型的图像编解码网络，所述教师编解码模型包括：教师编码模型、超先验概率模型与教师解码模型，所述教师编码模型与教师解码模型构成教师编解码模型；输入原始图像至所述包含教师编解码模型的图像编解码网络，计算第一阶段的率失真损失，并对所述基于教师编解码模型的图像编解码网络进行训练；

第二阶段：在所述包含教师编解码模型的图像编解码网络中添加学生编解码模型，所述学生编解码模型包括学生编码模型与学生解码模型，所述学生编解码模型的位置与所述教师编解码模型的位置相同；所述学生编解码模型通过将教师编解码模型中的残差模块做轻量化处理后得到；输入原始图像至所述教师编码模型与学生编码模型，教师编码模型与学生编码模型的输出均经所述超先验概率模型后，对应的进入教师解码模型与学生解码模型；利用教师编码模型与学生编码模型的输出、教师编码模型与学生编码模型中间相同位置的输出、以及教师解码模型与学生解码模型中间相同位置的输出计算知识蒸馏损失，并结合学生解码模型的输出与超先验概率模型的输出计算的第二阶段率失真损失对学生编解码模型进行训练，更新学生编解码模型的参数；训练达到指定次数后，移除教师编解码模型，输入原始图像，计算第二阶段率失真损失，并对所述学生编解码模型与超先验概率模型的参数进行微调。

2.根据权利要求1所述的一种深度学习图像编解码网络的蒸馏训练方法，其特征在于，所述教师编码模型包括：依次设置的多层卷积层，所述多层卷积层的中间位置以及末端设有残差模块；所述教师解码模型包括：依次设置的多层反卷积层，所述反卷积层的顶端与中间位置设有残差模块。

3.根据权利要求2所述的所述的一种深度学习图像编解码网络的蒸馏训练方法，其特征在于，所述残差模块包括：依次设置的N层相同的卷积层，通过残差连接残差模块的输入与最后一个卷积层的输出作为残差模块的输出；其中，所述残差模块的输入与输出的维度相同，N为正整数。

4.根据权利要求1所述的一种深度学习图像编解码网络的蒸馏训练方法，其特征在于，所述学生编码模型包括：依次设置的多层卷积层，所述多层卷积层的中间位置以及末端设有轻量化残差模块；所述学生解码模型包括：依次设置的多层反卷积层，所述反卷积层的顶端与中间位置设有轻量化残差模块；所述轻量化残差模块通过对教师编解码模型中的残差模块做轻量化处理得到。

5.根据权利要求4所述的所述的一种深度学习图像编解码网络的蒸馏训练方法，其特征在于，所述轻量化残差模块包括：依次设置的M层卷积层，且通过残差连接轻量化残差模块的输入与最后一个卷积层的输出作为轻量化残差模块的输出；其中，所述轻量化残差模块的输入与输出的维度不同，M为正整数。

6.根据权利要求1所述的所述的一种深度学习图像编解码网络的蒸馏训练方法，其特征在于，计算知识蒸馏损失时，若教师编码模型与学生编码模型中间相同位置的输出维度不匹配，和/或教师解码模型与学生解码模型中间相同位置的输出维度不匹配，则通过添加卷积层进行维度匹配。

7.根据权利要求1所述的所述的一种深度学习图像编解码网络的蒸馏训练方法，其特征在于，所述利用教师编码模型与学生编码模型的输出、教师编码模型与学生编码模型中间相同位置的输出、以及教师解码模型与学生解码模型中间相同位置的输出计算知识蒸馏损失包括：

利用教师编码模型与学生编码模型的输出、教师编码模型与学生编码模型中间相同位置的输出、以及教师解码模型与学生解码模型中间相同位置的输出，使用MSE均方误差计算知识蒸馏损失。