[发明专利]一种基于自蒸馏对比学习的超分辨率模型压缩和加速方法

说明书

本发明公开了一种基于自蒸馏对比学习的超分辨率模型压缩和加速方法，其特点是采用自蒸馏框架引入基于对比学习的损失函数，通过训练一个参数量较大的教师模型，从中选取每一层的前1/r的通道构成学生模型，其参数与教师模型共享，利用教师模型的预测输出、负样本和高分辨率图像计算重建损失和对比损失。本发明与现有技术相比具有即插即用性，在压缩和加速的同时仍能保证生成图像的真实性，大大减少了模型的参数量和计算量，可以对目前现有的所有超分辨率模型同时进行压缩和加速，通过使用对比损失，对解空间的上下界进行约束，在减少模型参数量的同时保证模型的性能，使复原得到的图片有更强的真实性。

技术领域

本发明涉及数字图像的超分辨率技术领域，尤其是一种基于自蒸馏对比学习的超分辨率模型压缩和加速方法。

背景技术

随着数字图像成像设备技术的进步，通过相机、平板、手机、监控等设备获取的图像的数量呈指数级增长。得益于深度学习的快速发展，人们利用这些图像进行图像分类、语义分割、行人重识别等任务，极大便利了人们的日常生活。这些计算机视觉系统的性能通常受所获取图像质量的影响，然而由于成像系统、大气环境和处理方法的不完善，数字图像在形成、传输、存储过程中会受到一定程度的丢失或损坏。因此，使用超分辨率技术恢复图像丢失的细节，提升后续任务的准确性具有重要的价值。

近年来随着深度学习的不断发展，基于深度学习的超分辨率算法取得了长足的进步，这些算法在客观评价指标和主观评价指标上都超过了基于先验的传统方法。有越来越多的学者开始研究构建更精巧的神经网络结构以更充分利用图像中的信息，这也导致基于深度学习的超分辨率算法所需的内存和计算量也显著增加。

现有技术存在着超分辨率模型参数量和计算量过大，对超分辨率模型的部署造成了一定的困难。

发明内容

本发明的目的是针对现有技术的不足而提出的一种基于自蒸馏对比学习的超分辨率模型压缩和加速方法，采用自蒸馏框架引入基于对比学习的损失函数的方法，通过训练一个参数量较大的教师模型，从中选取每一层的前1/r的通道构成学生模型，其参数与教师模型共享，并利用教师模型的预测输出、负样本和高分辨率图像计算，重建损失和对比损失。在实际部署中，可以在资源首先的设备上单独部署学生模型，或是在资源较为充裕的设备上部署教师模型，根据运行时资源配置实现动态调整。该方法保证了超分辨率算法的性能以及图片复原质量，同时又大大减少了模型的参数量和计算量可以对目前现有的所有超分辨率模型同时进行压缩和加速，具有即插即用性，在压缩和加速的同时仍能保证生成图像的真实性。

本发明的目的是这样实现的：一种基于自蒸馏对比学习的超分辨率模型压缩和加速方法，其特点是采用自蒸馏框架引入基于对比学习的损失函数，通过训练一个参数量较大的教师模型，从中选取每一层的前1/r的通道构成学生模型，其参数与教师模型共享，利用教师模型的预测输出、负样本和高分辨率图像计算重建损失和对比损失，其超分辨率模型的压缩和加速具体包括下述步骤：

步骤1：数据集准备与预处理

1-1：根据不同的放大倍数s，收集成对的低分辨率图像和高分辨率图像作为图像对，将其以8:2的比例划分为训练集和测试集，所述低分辨率图和高分辨率图的内容一致，其高分辨率图像的分辨率为低分辨率图像的s倍；所述图像对的文件格式为PNG。

1-2：将上述训练集图片进行数据增广，所述增广为随机翻转或随机裁剪方式。

步骤2：教师模型的构建及特征提取与复原

2-1：教师模型为浅层特征提取模块、深层特征提取模块、上采样模块和重建模块组成的超分辨率模型，所述上采样模块的输出大小为其输入大小的s倍，而其他模块的输出大小与输入大小不变。

2-2：将步骤1处理好的低分辨率图片作为超分辨率模型的输入，分别经过浅层特征提取模块、深层特征提取模块、上采样模块和重建模块，最后得到三通道的高分辨率输出结果，即预测复原图像(正样本)，其大小为输入的s倍。