[发明专利]一种视频图像压缩伪影去除方法

说明书

本发明公开了一种运动补偿和生成式对抗网络结合的视频图像压缩伪影去除方法，基于运动补偿，以与当前解码帧间隔最小的帧内编码帧为参考图像，采用图像块扫描的形式处理当前解码帧从而形成一幅运动补偿图像；以经预先训练的生成式对抗网络中的生成网络产生一幅预测图像，将当前解码帧图像、运动补偿图像和预测图像堆叠成一个三阶张量作为后续用于图像融合的深度卷积神经网络的输入，由深度卷积神经网络映射产生比当前解码图像具有更好视觉质量的输出图像，即去除压缩伪影后的图像。

技术领域

本发明涉及计算机视觉领域，尤其涉及一种运动补偿和生成式对抗网络结合的视频图像压缩伪影去除方法。

背景技术

有损图像或视频压缩中的量化运算是一个多对一的映射过程，在低码率编码时，解码端还原的图像与未经压缩的原始图像存在较大的差异。这种由于量化和反量化操作所引入的重建数据和原始数据之间的误差即为量化噪声，在解码图像或视频中将表现为块状、环状等伪影。

在解码端采用后处理算法抑制量化噪声、提升解码图像或视频的视觉质量，因其实施方便、成本低廉受到业界的广泛关注。随着深度学习在基于图像的超分辨率分析、去噪等各个领域取得极大的成功，启发了人们将其应用于图像压缩伪影去除。Jae Woong Soh等人在期刊IEEE Access发表的论文“Reduction of Video Compression Artifacts Basedon Deep Temporal Networks”提出了一种包含三个分支的时域网络，实验表明相比于通常的伪影抑制网络，该网络能获得0.23dB的PSNR增益；Zhenyu Guan等人在期刊IEEETransactions on Pattern Analysis and Machine Intelligence发表的论文“MFQE 2.0:A New Approach for Multi-frame Quality Enhancement on Compressed Video”提出利用相邻的质量较好的帧来辅助质量较差的帧提升视觉质量，并且提出了一种基于双向长短时记忆网络的无参考图像视觉质量评估方法。

本发明提供一种运动补偿和生成式对抗网络结合的视频图像压缩伪影去除方法，基于运动补偿，以与当前帧间隔最小的帧内编码帧为参考图像，采用块匹配运动估计算法形成一幅运动补偿图像；以经预先训练的生成式对抗网络中的生成网络产生一幅预测图像，将上述两幅预测图像和当前解码图像堆叠成一个张量作为后续用于图像融合的深度卷积神经网络的输入，由该网络映射产生比当前解码图像具有更好视觉质量的输出。

发明内容

本发明目的在于针对现有技术的不足，提出一种运动补偿和生成式对抗网络结合的视频图像压缩伪影去除方法。

本发明的目的是通过以下技术方案来实现的：一种运动补偿和生成式对抗网络结合的视频图像压缩伪影去除方法，包括如下步骤：

(1)设I为HEVC编码视频的当前解码帧，I⁽⁰⁾和I⁽¹⁾分别为位于当前解码帧之前和之后的帧内编码帧，以间隔帧数为依据，在I⁽⁰⁾和I⁽¹⁾两个帧内编码帧中选择离当前解码帧相对较近的作为参考帧，记作I^(r)，设B为I帧中一个大小为N×N的图像块，以差值绝对值之和SAD为目标函数，搜索具有最小目标函数值的匹配位置，记作(u₀,v₀)，在I^(r)图像中取左上角坐标为(m+u₀,n+v₀)、大小为N×N的图像块作为B在I^(r)中的最佳匹配块B^(r)：

其中m和n分别为图像块的左上角点在图像中的水平和垂直坐标，(u,v)代表一个搜索位置，且-R≤u,v≤R，R代表预设的搜索范围；