[发明专利]环路滤波装置和图像解码装置

说明书

本申请实施例提供了一种环路滤波装置和图像解码装置，所述环路滤波装置包括：下采样单元，其对输入的重构图像帧进行下采样，得到N个通道的特征图；残差学习单元，其对输入的N个通道的特征图进行残差学习，得到N个通道的特征图；以及上采样单元，其对输入的N个通道的特征图进行上采样，得到所述重构图像的原始尺寸图像。本申请实施例通过使用卷积神经网络实现环路滤波器的功能，能够减少重构帧和原始帧之间的差异，减少计算量，节省CNN的处理时间。

技术领域

本申请涉及视频编码技术领域以及图像压缩技术领域。

背景技术

有损图像和视频压缩算法会导致伪像，包括阻塞，模糊和振铃，以及样本失真。目前，卷积神经网络(CNN，Convolutional Neural Networks)是解决图像处理中这类问题的一种很好的方法。在传统的视频压缩软件(例如VTM)中，去块(Deblocking)滤波器，样点自适应补偿(SAO，Sample adaptive offset)滤波器和自适应环路滤波器(ALF，adaptiveloop filter)可以用作环路滤波器以减少失真。虽然使用CNN取代这些传统滤波器可能会减少视频失真，但CNN会花费大量时间来处理视频，计算量过大。

应该注意，上面对技术背景的介绍只是为了方便对本申请的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本申请的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。

发明内容

本申请实施例提供一种环路滤波装置和图像解码装置，通过使用卷积神经网络实现环路滤波器的功能，能够减少重构帧和原始帧之间的差异，减少大量的计算，节省了CNN处理时间。

根据本申请实施例的第一方面，提供了一种环路滤波装置，所述环路滤波装置包括：

下采样单元，其对输入的重构图像帧进行下采样，得到N个通道的特征图；

残差学习单元，其对输入的N个通道的特征图进行残差学习，得到N个通道的特征图；以及

上采样单元，其对输入的N个通道的特征图进行上采样，得到所述重构图像的原始尺寸图像。

根据本申请实施例的第二方面，提供了一种图像解码装置，所述图像解码装置包括：

处理单元，其对接收到的码流进行去变换和去量化处理；

CNN滤波单元，其对所述处理单元的输出进行第一次滤波处理；

SAO滤波单元，其对所述CNN滤波单元的输出进行第二次滤波处理；

ALF滤波单元，其对所述SAO滤波单元的输出进行第三次滤波处理，将滤波处理后的图像作为重构图像输出；

其中，所述CNN滤波单元包括前述第一方面所述的环路滤波装置。

根据本申请实施例的第三方面，提供了一种环路滤波方法，所述方法包括：

采用一个卷积层对输入的重构图像帧进行下采样，得到N个通道的特征图；

使用多个依次连接的残差块分别对输入的N个通道的特征图进行残差学习，得到N个通道的特征图；以及

使用另一个卷积层和整合层对输入的N个通道的特征图进行上采样，得到所述重构图像的原始尺寸图像。

根据本申请实施例的第四方面，提供了一种图像解码方法，所述方法包括：

对接收到的码流进行去变换和去量化处理；

使用CNN滤波器对去变换和去量化后的内容进行第一次滤波处理；

使用SAO滤波器对所述CNN滤波器的输出进行第二次滤波处理；