[发明专利]基于编码损伤修复CNN的空域可分级视频编码方法

说明书

本发明提出了一种基于编码损伤修复CNN的空域可分级视频编码方法，用于解决现有空域可分级视频编码方法中存在的因基本层重建图像与增强层图像基于编码损伤的图像失真较大导致的增强层编码码率的较高的技术问题，以减轻网络传输的负担，实现步骤为：获取空域基本层码流C_BL和基本层重建图像集R；获取训练样本集T₀；构建基于编码损伤修复的卷积神经网络CNN；对CNN进行训练；对基本层重建图像集R进行编码损伤修复；获取基于编码损伤修复CNN的空域可分级视频编码结果。

技术领域

本发明属于视频图像编码领域，涉及一种空域可分级视频编码方法，具体涉及一种基于编码损伤修复CNN的空域可分级视频编码方法，可用于视频压缩编码后视频图像编码损伤的修复。

背景技术

视频图像的编码是一种在传输视频过程中降低视频冗余数据的有效手段。视频图像编码出现了很多标准的算法，最新一代高效视频编码标准HEVC作为目前最新的视频压缩标准取得了不错的效果，但同时也大大增加了编码复杂度。进一步为了满足不同用户终端对不同分辨率和不同帧率的需求，以及解决已出现的一些异构网络和不可靠网络等问题，标准化组织提出可分级高效视频编码SHVC。

SHVC是为了适应IP网络的异构、波动和拥塞而采用的一种高效、强鲁棒性的可分级性视频编码技术。该技术将一个基本层和若干增强层看成一个多层视频系统，对单一视频序列产生若干层高低有序的压缩码流。基本层提供基本图像质量的码流，增强层提供可在基础上重构出更高图像质量所需的码流，一般为更高质量图像与低质量图像的差值。SHVC可通过利用单层高效视频编码的编解码器构建实现，并添加层间参考图像处理模块。

可分级高效视频编码SHVC主要分为质量可分级编码和空域可分级编码。实现空域可分级性，首先通过编码器对视频序列中的每帧图像进行不同空间分辨率的编码，得到分辨率不同的多个视频流，即基本层和增强层码流，且具有高分辨率的增强层码流以具有低分辨率的基本层码流为层间参考。仅对基本层码流信息进行解码得到的是低分辨率图像，增强层码流为高质量视频图像与低质量视频图像的差值码流，如同时加入增强层码流进行解码，得到的是高分辨率的图像。

但是该方法由于视频压缩编码的缘故，在解码端接收到的基本层重建图像与基本层被重建图像相比具有编码损伤，表征为图像失真，在视觉上表现为方块效应、振铃效应以及其他由于人为操作给图像引入噪声导致的图像效果视觉失真，会间接导致增强层图像失真，进而导致增强层编码码率增加，既不利于解码端得到高清晰度的图像，也会增加编码负担与传输负担。

作为深度学习网络中的一种，卷积神经网络由于具有卷积层等结构，能够很好地提取图像特征，在保留图像细节的前提下完成图像修复和图像超分等功能。

例如申请公布号为CN 110087092 A，名称为“基于图像重构卷积神经网络的低码率视频编解码方法”的专利申请，提出了一种基于图像重构卷积神经网络的低码率视频编解码方法，该方法对输入视频通过下采样操作后得到低分辨率的视频，再使用标准X.265编解码器对低分辨率视频进行视频编解码，得到解码后的低分辨率视频，将解码后的低分辨率视频输入到训练好的图像重构卷积神经网络，然后得到与输入视频相同分辨率的重构视频。该方法解决了传统空域可分级视频编码方法中存在的在低码率下视频编解码后视频有严重压缩失真的问题，更好地保留图像细节。但其只针对低码率下视频编码带来的严重压缩失真问题，不能兼顾较高清晰度的高码率视频编码压缩失真问题，也不能有效降低高清晰度视频的传输码流大小。

发明内容

本发明的目的在于克服上述现有技术存在的缺陷，提出了一种基于编码损伤修复CNN的空域可分级视频编码方法，用于解决现有空域可分级视频编码方法中存在的因基本层重建图像与增强层图像基于编码损伤的图像失真较大导致的增强层编码码率的较高的技术问题，以减轻网络传输的负担。

为实现上述目的，本发明采取的技术方案包括如下步骤：

(1)获取空域基本层码流C_BL和基本层重建图像集R：