[发明专利]一种轻量化图像和视频质量重建方法、装置和设备

说明书

本申请提供一种轻量化图像和视频质量重建方法和装置，方法包括对所述待处理图像进行X倍降采样处理，并进行通道扩展，得到第一特征图；对所述第一特征图进行低级特征提取；对提取到的低级特征进行N倍上采样，对所述N倍上采样的采样结果进行高级特征提取，得到重建特征；对所述重建特征进行M倍上采样；采用预设的高频注意力结构对所述待处理图像提取高频特征图并和M倍上采样的采样结果进行处理得到增强高频后的结果图，提供了一种模型方法复杂程度低、能够应用于移动设备上的图像处理方案。

技术领域

本发明涉及图像处理技术领域，具体涉及一种轻量化图像和视频质量重建方法、装置和设备。

背景技术

随着科学技术的发展，手机、平板等移动设备已经完全融入人们日常生活中，并且对此类设备的成像质量要求也变得越来越高。但是在移动终端上显示的图片或视频，由于压缩、传输、存储等操作会产生大量噪声、细节丢失等失真，极大的影响用户的视觉体验。近年来，为了提高终端显示的图片或视频的视觉质量，图像或视频去噪和超分辨技术被广泛使用。并且，随着深度学习在计算机视觉领域的快速发展，基于深度学习的图像或视频增强已成为新的解决方案。但是在工业界，基于深度学习超分方法在落地过程中却面临着两个巨大的挑战：1.图像或视频恢复模型方法复杂度太高；2.移动设备算力有限。

发明内容

有鉴于此，本发明实施例提供一种轻量化图像和视频质量重建方法、装置和设备，以提供一种模型方法复杂程度低、能够应用于移动设备上的图像处理方案。

为实现上述目的，本发明实施例提供如下技术方案：

一种轻量化图像和视频质量重建方法，包括：

获取待处理图像；

对所述待处理图像进行X倍降采样处理，并进行通道扩展，得到第一特征图；

对所述第一特征图进行低级特征提取；

对提取到的低级特征进行N倍上采样，所述N不小于2；

对所述N倍上采样的采样结果进行高级特征提取，得到重建特征；

对所述重建特征进行M倍上采样，所述M不小于2；

采用预设的高频注意力结构对所述待处理图像提取高频特征图并和M倍上采样的采样结果进行处理得到增强高频后的结果图。

可选地，上述轻量化图像和视频质量重建方法中，所述对所述待处理图像进行X倍降采样处理，得到第一特征图，同时扩展第一特征图的通道数；

采用预设卷积核与所述待处理图像进行步长为X的卷积操作，得到降采样X倍的特征图，记为第一特征图；

对所述第一特征图进行一次非线性变换，以扩展第一特征图的通道数。

可选地，对所述第一特征图进行一次非线性变换，包括：

采用信息增强模块对所述第一特征图进行一次非线性变换。

可选地，对所述第一特征图进行低级特征提取，包括：

采用特征增强的特征增强蒸馏模块对所述第一特征图的通道进行第一次蒸馏，由所述第一特征图的通道中蒸馏出A个通道的特征图，记为第一蒸馏特征图，所述A为一个预设的正整数；

对于第一次蒸馏剩余的通道对应的特征图进行特征提取和通道降维操作，记为第一降维特征图；

采用特征增强的特征增强蒸馏模块对所述第一降维特征图的通道进行第二次蒸馏，由所述第一降维特征图的通道中蒸馏出C个通道的特征图，记为第二蒸馏特征图；

对于第二次蒸馏剩余的通道对应的特征图进行特征提取和通道降维操作，得到B个通道的特征图，记为第二降维特征图，所述B为对所述待处理图像进行X倍降采样处理后的通道数；