[发明专利]基于编码损伤修复CNN的空域可分级视频编码方法

摘要

本发明提出了一种基于编码损伤修复CNN的空域可分级视频编码方法，用于解决现有空域可分级视频编码方法中存在的因基本层重建图像与增强层图像基于编码损伤的图像失真较大导致的增强层编码码率的较高的技术问题，以减轻网络传输的负担，实现步骤为：获取空域基本层码流CBL和基本层重建图像集R；获取训练样本集T0；构建基于编码损伤修复的卷积神经网络CNN；对CNN进行训练；对基本层重建图像集R进行编码损伤修复；获取基于编码损伤修复CNN的空域可分级视频编码结果。

主权项

1.一种基于编码损伤修复CNN的空域可分级视频编码方法，其特征在于，包括如下步骤：/n(1)获取空域基本层码流C_BL和基本层重建图像集R：/n(1a)随机选取的包括n帧图像的视频V，并对其中的每帧图像进行d倍下采样，得到包括n帧低分辨率图像的视频V'，d＞1；/n(1b)对视频V'进行DCT变换，并以q为量化参数QP对DCT变换所获取的变换系数进行量化，得到量化后的变换系数N，1≤q≤51；/n(1c)对变换系数N进行熵编码，得到空域基本层码流C_BL，同时对变换系数N同时进行反量化，并对反量化的结果进行反DCT变换，得到由n帧基本层重建图像组成的基本层重建图像集R；/n(2)获取训练样本集T₀：/n(2a)选取像素大小为h×w的m幅自然图像，并将每幅图像裁剪为F个像素大小为l×l的大图像块，将所有大图像块作为标签图像数据SR_label，m≥400，h＞l，w＞l，且l为d的倍数；/n(2b)对每个大图像块进行d倍下采样，得到F个像素大小为l/d×l/d的小图像块，将所有小图像块作为标签图像数据LR_label；/n(2c)获取重建图像数据input_lr：/n(2c1)设量化参数QP的值为k，k的最小值为k₀，最大值为k_m，并令k＝k₀，1≤k₀≤q≤k_m≤51；/n(2c2)对LR_label中的每个小图像块进行编码后再进行解码，得到F个重建图像，并判断k＝k_m是否成立，若是，得到K个重建图像组input_lr，K＝k_m-k₀+1，并将LR_label、SR_label和input_lr作为训练样本集T₀，否则，执行步骤(2c3)；/n(2c3)令k＝k+1，并执行步骤(2c2)；/n(3)构建基于编码损伤修复的卷积神经网络CNN：/n构建包括第一残差网络和第二残差网络的编码损伤修复的卷积神经网络CNN，其中：/n第一残差网络包括第一主径结构、第一捷径结构和第二卷积层；第一主径结构包括依次层叠的第一卷积层、归一化层、ReLU激活层、多个Block组合层；第一捷径结构包括第一直连通路；/n第二残差网络包括并联的第二主径结构和第二捷径结构；第二主径结构包括多个Block组合层和与其相连的第四卷积层；第二捷径结构包括依次层叠的第二反卷积层和第二直连通路；Block组合层包括依次层叠的第三卷积层、归一化层和ReLU激活层；/n第一主径结构包括两个连接，连接一连接第二主径结构，连接二连接第二卷积层；第一捷径结构连接第二捷径结构，第二卷积层连接第二捷径结构；第二主径结构连接输出端口，第二捷径结构连接输出接口；/n(4)对CNN进行训练：/n(4a)设迭代次数为t，最大迭代次数为T，T≥30，并令t＝0；/n(4b)将input_lr和LR_label作为第一残差网络的输入，将SR_label作为第二残差网络的输入，对CNN进行训练，并判断t＝T是否成立，若是，得到CNN模型，否则，执行步骤(4c)；/n(4c)令t＝t+1，并执行步骤(4b)；/n(5)对基本层重建图像集R进行编码损伤修复：/n将基本层重建图像集R输入至CNN模型，对R中的n帧图像进行编码损伤修复，并将得到的n帧修复编码损伤后的图像组成增强层修复图像集R'；/n(6)获取基于编码损伤修复CNN的空域可分级视频编码结果：/n(6a)将增强层修复图像集R'中的n帧图像与视频V中的n帧图像相减，得到由n个残差图像组成的残差图像集R'_r；/n(6b)对R'_r进行DCT变换，并以q为量化参数QP对DCT变换所获得的变换系数进行量化，得到量化后的变换系数N'；/n(6c)对变换系数N'进行熵编码，获取空域增强层码流C_EL，得到由C_EL与空域基本层码流C_BL组成空域可分级视频编码的输出码流，作为空域可分级视频编码的结果。/n