[发明专利]一种基于深度学习知识蒸馏技术的保边图像平滑方法

说明书

一种基于深度学习知识蒸馏技术的保边图像平滑方法，属于图像处理技术领域。该方法基于新型的深度学习知识蒸馏技术，将边缘检测老师网络的边缘检测能力蒸馏到图像平滑学生网络里，从而使得学生网络具有保边的图像平滑能力。其中学生网络的任务是进行图像平滑，老师网络的任务是提取结构性边缘的信息。利用老师网络向学生网络进行结构性边缘知识的蒸馏迁移，使学生网络在进行图像平滑的任务的同时，具备老师网络的保留结构性边缘能力。本发明能够在不额外引入保留边缘信息的深度网络前提下保留图像平滑的结构性边缘，克服了传统图像平滑增强方法中如不能很好地保留图像边缘信息、模糊等图像质量损失的视觉影响，极大地提高了图像平滑的效果。

技术领域

本发明属于图像处理技术领域，特别涉及到一种基于新型深度学习知识蒸馏技术的保边图像平滑方法。

背景技术

近年来随着多媒体技术的蓬勃发展，以及工业界的广泛需求，图像处理技术的应用场景不断扩大。现有的图像可以分为全局结构和局部纹理的融合，图像的纹理在一定程度上会影响图像结构信息的自动提取。此外，由于人们对拍照技术的需求，在拍摄人脸时会需要对脸部进行“磨皮”美化，从而使人脸显得更加美观。在进行风格迁移的时候，需要保留结构边缘而忽略具体纹理信息。基于这些需求，我们在拍摄图像后需要对图像进行保边性的平滑处理，从而使其更好地用于后续的图像美化、分析和处理。图像平滑技术是为了某种特定的需求，保留图像中的全局结构信息，去除图像中的局部纹理信息的一类计算机视觉任务。图像平滑的主要目的是通过增强图像结构相对于图像纹理的视觉效果，使得平滑后的图像更加便于人类或者机器进行分析和处理。图像平滑技术已经被广泛应用于各大手机拍照技术和社交媒体等领域中，在我们的生活中发挥着十分重要的作用。例如，美颜相机通常利用图像平滑技术对人脸进行平滑处理。

然而，在图像平滑任务中，还存在一些亟待解决的难点。比如图像平滑技术如何更好地保留结构性边缘的信息。人类直接通过人眼可以本能地在一幅图像复杂的纹理信息中提取有意义的结构性信息。然而，计算机程序很难自动区分图像中的结构信息和纹理信息，现有的图像平滑技术可能会为了去掉纹理信息而把结构的边缘部分也平滑掉。保留边缘的图像平滑技术可以在去除纹理的同时自动保留结构性边缘信息，这是一项非常具有挑战性的任务，对于计算机视觉应用非常重要。

Hinton等人在2015年公开的文章Distilling the knowledge in a NeuralNetwork(NIPS 2014 Deep Learning Workshop)首次提出了深度学习知识蒸馏的框架，引入“学生网络”与“老师网络”的概念，目的是将多个训练后的老师网络的知识集中迁移到一个学生网络中。这里利用知识蒸馏将分类数据集的“硬标签”推广到“软化标签”，从而可以学习到不同标签的图像之间的相似程度。训练好老师网络后，老师网络具备了提供隐藏在标签外的额外判别性和相似性知识，再通过知识蒸馏技术将该知识迁移到学生网络中。近年来随着计算设备的完善与改进，神经网络发展十分迅速。由于其具有强大的表示能力，目前神经网络已经被广泛应用于计算机视觉、自然语言处理等研究领域。目前关于神经网络的一大研究热点在于将神经网络部署在便携嵌入式设备中。由于神经网络本身的性质，往往其参数量越大则其模型性能越强。但是网络模型参数越多，网络需要占用更多的内存资源，运行也极为耗时，这与工业界占用资源少、运算时间短的需求相悖。而知识蒸馏技术可以有助于解决这一问题。知识蒸馏技术利用一个或多个具有大参数量的老师网络去提升一个具有小参数量的学生网络的性能。学生网络很可能最终性能无法与老师网络媲美，但是却比脱离老师网络而单独训练的学生网络更加强大。

然而常用的深度学习知识蒸馏方法并不能直接用在保边图像平滑任务里。其原因是在我们的任务里，老师网络主要是提取结构性边缘信息，学生网络主要是去除图像中的局部纹理。直接用训练好的老师网络来蒸馏学生网络，只能得到具有图像边缘提取和检测的学生网络，并不能得到具有图像平滑能力的学生网络。因此，我们提出一种新型的基于深度学习知识蒸馏技术，并运用到保边图像平滑任务里。这个方法可以在完成图像平滑任务的同时，具备保留结构性边缘的能力。

发明内容