[发明专利]一种图像处理方法和装置

说明书

公开了一种图像处理方法和装置，所述方法包括：获取视频码流，所述视频码流中包括时序相邻的第一帧图像、第二帧图像和第三帧图像；解码所述视频码流得到第一对齐帧、第二对齐帧、以及所述第一帧图像、所述第二帧图像和所述第三帧图像之间的至少一个残差；根据所述至少一个残差生成至少一个残差帧；根据所述至少一个残差帧、所述第一对齐帧和所述第二对齐帧对所述第二帧图像进行超分处理，得到超分后的第二帧图像。本方法采用对齐帧和残差帧作为神经网络的输入，由于残差帧经过神经网络后输出高频信息，将该高频信息贴合回亮度通道中可以加强边缘细节，从而提升了视频画质的质量，并且不增加硬件成本。

技术领域

本申请涉及图像处理技术领域，尤其是涉及一种图像处理方法和装置，用于在对图像超分的过程中生成清晰图像。

背景技术

随着手机、平板、智慧电视等设备的不断普及和移动通信技术的提升，短视频、流媒体视频和实时视频通话等业务如雨后春笋，越来越多的占据终端屏幕。为使用户在体验这些视频业务时，不仅能够满足在不确定网络条件下视频播放的流畅性，还要降低边缘存储的成本开销，因此往往传输给用户的视频分辨率不高，且画质模糊，有噪声，块状效应和边缘锯齿等负向效果。为了去除这些负向效果，在不增加边缘存贮量和传输数据量的基础上，提高画面质量，一般可以采用超分辨率技术。其中所述超分辨率技术又可称为“超分”技术。

超分技术，主要是指从低分辨率的图片恢复成高分辨率图片的一种重要的计算机视觉和图像处理手段。尤其是应用在医疗图像、安全监控和电视娱乐等相关领域。超分技术的难点在于低分辨率的图片损失了高频部分相关的信息量，同时加入了由于摄像头感光元件恢复能力、压缩编码损失和传输信道丢包等引起的负向效果。

传统的基于图像特征的超分算法一般从去噪，滤波，边缘轮廓分析、提取和拟合，小波变换恢复频域信息等角度进行恢复。随着深度学习相关领域的发展，越来越多的工作转向使用卷积神经网络模型进行超分，并且取得了突破性的成果。参见图1所示，目前基于深度学习的超分工作主要可以分为以下三个方向：单图超分(single image superresolution， SISR)、序列超分(sequence super resolution，SSR)和参考图片超分(reference super resolution，RSR)。

其中，SISR只将单帧图像送入神经网络进行超分处理；SSR是将视频码流中连续的多帧图像送入神经网络进行超分处理；RSR则是使用之前已经超分的图像，或者预先放置的有特殊纹理的图像模板，与输入图像/帧序列一起输入至神经网络进行超分处理。基于上述的三种研究方向都存在共同的问题，即在超分过程中，由于低分辨率帧图像缺失了高频部分的信息，并且该丢失的高频部分信息几乎不可能通过单张图像来得到恢复，进而由于图像高频边缘部分的信息缺失，导致超分后的图像分辨率较低，影响用户观看体验。

发明内容

本申请实施例公开了一种图像处理方法，用于解决在超分时产生的图像由于高频信息缺失而导致的超分后的图像分辨率低的问题。

为了解决该技术问题，本申请公开了以下技术方案：

第一方面，本申请实施例提供了一种图像处理方法，该方法可以应用于接收端设备，比如目的地设备或解码器等，具体地，所述方法包括：

获取视频码流，所述视频码流中包括时序相邻的第一帧图像、第二帧图像和第三帧图像；解码所述视频码流得到第一对齐帧、第二对齐帧、以及所述第一帧图像、所述第二帧图像和所述第三帧图像之间的至少一个残差，根据所述至少一个残差生成至少一个残差帧；根据所述至少一个残差帧、所述第一对齐帧和所述第二对齐帧对所述第二帧图像进行超分处理，得到超分后的第二帧图像。

其中，所述第一对齐帧是所述第一帧图像向所述第二帧图像按照第一运动矢量进行像素块移动后生成的，所述第二对齐帧是所述第三帧图像向所述第二帧图像按照第二运动矢量进行像素块移动后生成的，所述残差为前一帧图像按照运动矢量向后一帧图像做运动补偿后与所述后一帧图像的每个宏块之间的像素差；