[发明专利]一种基于双线性模型的VVC运动补偿方法

说明书

目前下一代视频编码标准VVC中的仿射运动只有四参数以及六参数模型，虽然其能适用于大多数的复杂运动场景，但是对于一些非平行性的运动如非规则的旋转或缩放，其估计性能有限。针对以上情况，本发明提出了一种基于双线性模型的VVC运动补偿方法。其主要思想是，对于采用仿射运动模式的编码块，利用基于双线性模型的高阶运动模型来对其进行再一次的运动估计，再利用运动补偿插值滤波器来生成当前子块的预测块。最后对基于双线性模型的VVC运动补偿方法所得到结果与VVC已有的仿射运动补偿所得结果，进行率失真代价比较，来选择合适的运动补偿方式。实验结果表明，在编码视频具有相同客观质量的条件下，本发明所提方法能够节省更多的码率。

技术领域

本发明涉及视频压缩技术，具体涉及一种基于双线性模型的VVC运动补偿方法，属于图像通信领域。

背景技术

在2018年JVET的会议上，下一代视频编码标准H.266被正式命名为VersatileVideo Coding，简称VVC，目前已发布了多个测试版本，其正式版本也即将于2020年底正式发布。相较于HEVC，VVC在许多编码模块都引入了新的编码技术，由目前已发布的测试版本来看，其编码性能比HEVC提升了约40％左右。帧间预测因其能显著改善编码性能而在视频编码标准中起到了关键的作用，其利用已重建的参考帧来预测当前编码帧，进而实现去除时域冗余的目的。在H.265/HEVC中，运动补偿预测的过程仅仅只适用于平移运动模型，然而在自然界中，存在各种各样的运动，例如放大、缩小，旋转，各种视角下的运动和各种不规则运动。当这些运动应用平移运动模型的运动补偿过程时，就会造成预测值不够准确，最终导致编码块的残差较大，增加了编码比特数。

在VVC中，帧间预测模块引入了许多新的编码技术。例如，在VVC中，为了适应如缩放、旋转之类的复杂运动轨迹而引入了仿射运动，并且将仿射运动补偿作为帧间预测的一种新模式；为了减少编码运动信息时所需的比特数而提出了一种FRUC模式；为了减少基于块的预测编码所产生的块效应而引入了重叠块运动补偿等等。VVC中仿射运动补偿打破了H.265/HEVC中对CU的运动信息的限制，由原来一个CU只能有一个运动信息变为了一个CU可以拥有多个运动信息，这样在相同质量的情况下，大大减少了编码所需比特数。但是，VVC引入的仿射运动仍然有其局限性，由于仿射运动保持了块边界的线性以及平行性，因此对于一些非平行性的不规则运动，例如不规则的缩放或者旋转等，目前的仿射运动仍很难准确地估计物体实际运动的MV。因此，对于物体不规则的复杂运动，在VVC已有的仿射运动补偿算法的基础上，仍有改进的空间。

发明内容

本发明的目的是为了研究及优化VVC帧间编码中的运动补偿，在编码视频具有相同客观质量的条件下，节省更多的码率。

本发明的基本思想是利用更高阶的运动模型来改进VVC中已有的仿射运动过程，从而实现提升VVC在帧间编码模式下的率失真性能。在VVC执行仿射运动后，对于采用仿射运动模式的编码块，本方法将利用基于双线性模型的高阶运动模型来对其进行再一次的运动估计，之后利用运动补偿插值滤波器得到当前编码块的预测块，最后对于当前编码块，将根据率失真代价来选择合适的仿射运动补偿方式。具体主要包括以下过程步骤：

(1)判断当前编码块的运动模型，对于采用平移运动模型的编码块将不进行处理，若当前编码块的运动模式为仿射运动模式，则进入步骤(2)；

(2)在VVC执行仿射运动后，对于采用仿射运动模式的编码块，利用基于双线性模型的高阶运动模型来对其进行再一次的运动估计，提取当前编码块的左上角、右上角、左下角以及右下角这四个边角上的CPMV，将当前编码块划分为互不重叠的，尺寸大小为4×4的子块，之后按照光栅扫描的顺序，对每一个子块均利用双线性插值模型来计算当前子块的MV；

(3)步骤(2)得到了当前子块的MV，再利用运动补偿插值滤波器来生成当前子块的预测块；

(4)对基于双线性模型的运动补偿算法所得到结果与VVC已有的仿射运动补偿所得结果，进行率失真代价比较，来选择合适的运动补偿方式。