[发明专利]使用双向光流的运动补偿方法和设备

说明书

公开了一种用于在视频编码处理期间估计用于帧间预测校正的自适应双向光流(BIO)的方法，并且更具体地，该方法包括以下步骤：由参考第一参考图片的第一运动矢量生成第一参考块，并且由参考第二参考图片的第二运动矢量生成第二参考块；通过使用第一参考块和第二参考块运行当前块的纹理复杂度；以及生成当前块的预测块，其中，通过基于纹理复杂度根据BIO处理选择性地使用第一参考块和第二参考块来生成当前块的预测块，或者通过使用第一参考块和第二参考块而不应用BIO处理来生成当前块的预测块。本发明可以降低像素级或子块级的双向光流的复杂度和/或成本。

技术领域

本公开涉及图像编码或解码。更具体地，本公开涉及用于运动补偿的双向光流。

背景技术

本部分中的陈述仅提供与本公开有关的背景信息，并且可能不构成现有技术。

在视频编码中，使用空间维度和时间维度的数据冗余来执行压缩。通过变换编码极大地减少空间冗余。通过预测编码减少时间冗余。观察到时间相关性沿着运动轨迹被最大化，为此目的，使用用于运动补偿的预测。在这种情况下，运动估计的主要目的不是在场景中找到“真实”运动，而是使压缩效率最大化。换句话说，运动矢量必须提供信号的准确预测。另外，由于运动信息必须在压缩比特流中作为开销被发送，因此必须启用压缩表示。有效运动估计在视频编码中实现高压缩是非常重要的。

运动是视频序列中的重要信息来源。发生运动不仅是由于对象的移动，还因为相机的移动。视运动(也称为光流)捕获图像序列中的像素强度的时空变化。

双向光流(BIO)是一种基于光流和稳定运动的假设进行运动细化的运动估计/补偿技术，其在JCTVC-C204和VCEG-AZ05 BIO中被公开。当前正在讨论的双向光流估计方法在允许对运动矢量信息进行精细校正方面具有优势，但是与用于对运动矢量信息进行精细校正的常规双向预测相比，需要更高的计算复杂度。

非专利文件1：JCTVC-C204(E.Alshina等人，双向光流，ITU-T SG 16WP 3和ISO/IEC JTC 1/SC 29/WG 11的视频编码联合协作小组(JCT-VC)，第3次会议：中国广州，2010年10月7-15日)

非专利文件2：VCEG-AZ05(E.Alshina等人，下一代视频编码的已知工具性能研究，ITU-T SG 16问题6，视频编码专家组(VCEG)，第52次会议：2015年6月19-26日，波兰华沙)

发明内容

技术问题

本公开的目的是在降低双向光流(BIO)的计算复杂度的同时减少图像质量的下降。

技术方案

根据本公开的一个方面，提供了一种用于在视频编码或解码时使用双向光流(BIO)进行运动补偿的方法，该方法包括以下步骤：通过参考第一参考图片的第一运动矢量生成第一参考块，并且通过参考第二参考图片的第二运动矢量生成第二参考块；使用第一参考块和第二参考块计算当前块的纹理复杂度；以及通过基于纹理复杂度选择性地应用或跳过BIO处理，基于第一参考块和第二参考块生成当前块的预测块。

根据本公开的另一方面，提供了一种用于在视频编码或解码时使用双向光流(BIO)执行运动补偿的设备，该设备包括：参考块生成器，该参考块生成器被配置为通过参考第一参考图片的第一运动矢量生成第一参考块，并且通过参考第二参考图片的第二运动矢量生成第二参考块；跳过确定器，该跳过确定器被配置为使用第一参考块和第二参考块来计算当前块的纹理复杂度，并且通过将纹理复杂度与阈值进行比较来确定是否跳过BIO处理；以及预测块生成器，该预测块生成器被配置为通过基于跳过确定器的确定选择性地应用或跳过BIO处理，基于第一参考块和第二参考块生成当前块的预测块。

附图说明

图1是根据本公开的实施方式的视频编码装置的示例性框图；

图2是当前块的相邻块的示意图；