[发明专利]一种以注意力机制融合单元划分的视频编码卷积滤波方法

说明书

本发明公开一种以注意力机制融合单元划分的视频编码卷积滤波方法，对构建的编码单元划分结构图进行不同尺度的降采样，并提取不同尺度感受野的特征信息，再将各特征信息融合起来，经过多层卷积神经网络层处理；将重建图像经过深层的卷积神经网络进行特征提取处理；再将编码单元划分结构的特征图作为权值基于像素加权到重建图像生成的特征图上，让网络更加关注感兴趣区域；最后经过多层卷积层处理，得到最终的残差图像，再加上输入的重建图像，得到恢复的重建图像。本发明利用一个多尺度网络充分提取编码单元结构特征信息，并将编码单元划分结构有效的和重建图像特征相融合，引导图像质量恢复过程，从而提升重建图像质量和编码效率。

技术领域

本发明涉及视频编码技术领域，具体为一种以注意力机制融合单元划分的视频编码卷积滤波方法。

背景技术

随着视频编码技术的进步，人们提出了许多视频编码标准，如AVC(AdvancedVideo Coding高级视频编码)、HEVC(High Efficiency Video Coding高效率视频编码)和最新的VVC(Versatile Video Coding多功能视频编码)。相比于上一代的标准，在相同的图像质量下，每个新标准的比特率都降低了50％。这些标准，包括最新的VVC，都是基于块编码的。首先，将一帧图像分成相同大小的编码树单元，然后根据率失真优化进一步划分为合适大小的编码单元。在编码单元的基础上，通过帧内预测或帧间预测得到预测单元块。接着从原始块中减去预测块，得到残差块。最后对残差块进行变换和量化，采用熵编码对所有参数进行二进制编码。然而，基于块的编码技术和量化导致的频率信息缺失会引起块效应、模糊效应和振铃效应等伪影。这些伪影严重降低了视频质量，降低了观看效果。为了消除这些伪影，人们提出了环路滤波技术。HEVC使用去块滤波器(DBF)[见文献1：A.Norkin et al.,HEVC Deblocking Filter,in IEEE Transactions on Circuits and Systems forVideo Technology,vol.22,no.12,pp.1746-1754,Dec.2012.]和样本自适应补偿滤波器(SAO)[见文献2：C.Fu et al.,Sample Adaptive Offset in the HEVC Standard,inIEEE Transactions on Circuits and Systems for Video Technology,vol.22,no.12,pp.1755-1764,Dec.2012.]，VVC额外增加了自适应环路滤波器(ALF)[见文献3：C.Tsai etal.,Adaptive Loop Filtering for Video Coding,in IEEE Journal of SelectedTopics in Signal Processing,vol.7,no.6,pp.934-945,Dec.2013.]。去块滤波器通过平滑编码单元边界来消除基于块的编码技术引起的块效应。样本自适应补偿滤波器通过像素补偿消除高频交流系数量化失真引起的振铃效应。自适应环路滤波器的目标是最小化块的均方误差，作为一个附加滤波器，进一步提高图像质量。这些滤波器虽然大大提高了图像质量，但仍不能满足人们对图像质量的要求。此外，样本自适应补偿滤波器和自适应环路滤波器将向解码器发送额外的信息，增加了信号开销，不利于视频传输。

近年来，深度学习在许多领域取得了巨大的成就。卷积神经网络在其中发挥了重要作用。由于在图像处理方面卷积神经网络具有天然的优势，尤其在降噪等领域显示出巨大的潜力，因此基于卷积神经网络的环内滤波器的研究十分广泛。为了更针对性的训练神经网络，人们除了输入重建图像，还将一些诸如编码单元划分模式，量化参数等信息作为先验信息输入网络来指导图像恢复。

在VVC中，为了更准确的预测图像，引入了多叉树划分技术，即将HEVC中的四叉树划分修改为多叉树划分，使得编码单元划分结构更加符合图像的实际分布。因此，可以利用编码单元划分模式作为先验信息来引导提高图像质量。但以往的方案大多只构造一个与输入图像大小相同的编码单元划分图，直接将两种信息连接起来，或者简单地经过卷积处理后进行拼接，这样的操作并不能有效的融合两种模态的信息。