[发明专利]一种循环可变形融合的压缩视频质量增强方法

说明书

本发明公开了一种循环可变形融合的压缩视频质量增强方法，属于视频图像增强处理技术领域。本发明提供了一种有效的利用相邻帧的时空信息进行特征级对齐的压缩视频多帧质量增强方法，通过循环可变形融合网络更有效的融合目标帧与相邻帧的时空信息实现更准确的对齐，多尺度注意力模块融合视频帧不同尺度的上下文信息，使得压缩视频的主观和客观质量都得到明显的增强。

技术领域

本发明属于视频图像增强处理技术领域，具体涉及一种循环可变形融合的压缩视频质量增强方法。

背景技术

HEVC编码技术自2013年正式成为视频编码技术国际认证的新标准以来，就得到了国内外的广泛研究，并出现了大量改善压缩视频质量的方法。在深度学习被提出之前，主要使用空域法和频域法对图像进行增强。随着深度学习的发展，出现了各种基于神经网络的压缩视频质量增强方法，并且都取得了不错的效果

目前最常用的是H.265/HEVC标准，HEVC标准采用基于块的混合编码框架，利用视频空域、时域信息的冗余设计了相应的压缩技术，通过对原始视频压缩达到节省带宽和存储的目的。其核心过程包括：预测编码、变换和量化、熵编码以及基于块的预测。变换和量化过程忽略了块与块之间的相关性，使视频或图像呈现块效应。同时，量化是基于变换域中的块扩展，并且量化过程是不可逆的。另外，运动补偿中的高精度插值很容易产生振铃效应(对于图像里的强边缘，由于高频交流系数的量化失真，解码后会在边缘周围产生波纹现象，这种失真被称为振铃效应)。由于帧间编码过程中误差的积累，上述振铃效应也会影响后续视频帧的编码质量。因此压缩视频不可避免的会造成严重的失真、产生伪影、导致视频的主观和客观质量下降。

CN107481209A的中国专利申请公开了一种基于卷积神经网络的图像或视频质量增强方法，该方案首先设计了两个用于视频(或图像)质量增强的卷积神经网络，两个网络具有不同的计算复杂度；然后选择若干个训练图像或视频对两个卷积神经网络中的参数进行训练；根据实际需要，选择一个计算复杂度较为合适的卷积神经网络，将质量待增强的图像或视频输入到选择的网络中；最后，该网络输出经过质量增强的图像或视频。该方案可以有效增强视频质量；用户可以根据设备的计算能力或剩余电量指定选用计算复杂度较为合适的卷积神经网络来进行图像或视频的质量增强。该方案设计了两个不同复杂度的卷积神经网络，由用户根据设备的情况来选择网络，两个网络的区别只是卷积神经网络的深度不同，但是仅仅通过加深网络深度来提高质量增强效果的方案是不可行的，而且没有针对图像视频的特点设计网络，即网络未能利用视频帧与帧之间的时间相关性，因此该方法质量增强的效果有限。

公开号为CN108900848A的中国专利申请公开了一种基于自适应可分离卷积的视频质量增强方法，该方案将自适应可分离卷积作为第一个模块应用于网络模型当中，将每个二维卷积转化为一对水平方向和垂直方向的一维卷积核，参数量由n²变为n+n。第二，利用网络对于不同输入学习出来的自适应变化的卷积核以实现运动矢量的估计，通过选取连续的两帧作为网络输入，对于每两张连续输入可以得到一对可分离的二维卷积核，而后该2维卷积核被展开成四个1维卷积核，得到的1维卷积核随输入的改变而改变，提高网络自适应性。该方案用一维卷积核取代二维卷积核，使得网络训练模型参数减少，执行效高。该方案使用五个编码模块和四个解码模块、一个分离卷积模块和一个图像预测模块，其结构是在传统的对称编解码模块网络的基础上，把最后一个解码模块替换为一个分离卷积模块，虽然有效的降低了模型的参数，但是质量增强的效果还有待进一步的提高。