[发明专利]选择性地应用双向光流和解码器侧运动矢量细化来进行视频编解码的方法和设备

说明书

在计算设备处执行对在视频编解码标准(诸如现在当前的通用视频编解码(VVC)设计)中采用的帧间模式编解码块选择性地应用双向光流(BDOF)和解码器侧运动矢量细化(DMVR)的方法。在一种方法中，在当前块基于多个预定义条件有资格进行DMVR应用和BDOF应用两者时，该计算设备使用预定义准则对当前块进行分类，并且然后使用该分类对该块应用BDOF或DMVR，而不是两者。

相关申请的交叉引用

本申请要求于2019年2月8日提交的美国临时专利申请序列号62/803,417的权益。前述申请的全部公开内容通过援引以其全文并入本文。

技术领域

本公开总体上涉及视频编解码和压缩。更具体地，本公开涉及这样的系统和方法，这些系统和方法用于通过对帧间模式编解码块选择性地应用双向光流和解码器侧运动矢量细化来执行视频编解码。

背景技术

本节提供与本公开相关的背景技术信息。本节内包含的信息不一定被解释为现有技术。

各种视频编解码技术中的任一种可以用来压缩视频数据。视频编解码可以根据一个或多个视频编解码标准来执行。一些说明性的视频编解码标准包括通用视频编解码(VVC)、联合探索测试模型(JEM)编解码、高效视频编解码(H.265/HEVC)、高级视频编解码(H.264/AVC)、以及运动图片专家组(MPEG)编解码。

视频编解码通常使用预测方法(例如，帧间预测、帧内预测等)，这些预测方法利用视频图像或序列中固有的冗余。视频编解码技术的一个目标是，将视频数据压缩成使用较低比特率的形式，同时避免或最小化视频质量降级。

在视频编解码中所使用的预测方法通常包括执行空间(帧内)预测和/或时间(帧间)预测以减少或去除视频数据中固有的冗余，并且这些预测方法通常与基于块的视频编解码相关联。

在基于块的视频编解码中，输入视频信号被逐块处理。针对每个块(也被称为编解码单元(CU))，可以执行空间预测和/或时间预测。

空间预测(也被称为“帧内预测”)使用来自同一视频图片/条带中的已经编解码的相邻块的样点(其被称为参考样点)的像素来预测当前块。空间预测减少了视频信号中固有的空间冗余。

在解码过程期间，首先在熵解码单元处对视频比特流进行熵解码。将编解码模式和预测信息发送到空间预测单元(在帧内编解码时)或时间预测单元(在帧间编解码时)以形成预测块。将残差变换系数发送到逆量化单元和逆变换单元以重建残差块。然后，将预测块和残差块相加。重建块在其被存储在参考图片存储装置中之前可以进一步经过环路滤波。然后，将参考图片存储装置中的重建视频发送出去以驱动显示设备，并用于预测未来的视频块。

在诸如现在当前的VVC设计等较新的视频编解码标准中，已经引入了新的帧间模式编解码工具，诸如双向光流(BDOF)和解码器侧运动矢量细化(DMVR)。这种新的帧间模式编解码工具通常有助于提高运动补偿预测的效率，并因此改进编解码增益。然而，这种改进可能伴随着复杂度和延迟增加的代价。

为了在同新的帧间模式工具相关联的改进与代价之间实现适当的平衡，现在当前的VVC设计已经对何时在帧间模式编解码块上启用新的帧间模式编解码工具(诸如DMVR和BDOF)加以约束。

然而，现在当前的VVC设计中存在的约束并不一定能在改进与代价之间实现最佳平衡。一方面，现在当前的VVC设计中存在的约束允许DMVR和BDOF两者应用于同一帧间模式编解码块，这会增加延迟，因为这两种工具的操作之间存在依赖性。另一方面，现在当前的VVC设计中存在的约束可能在某些情况下对DMVR过于宽松，导致不必要地增加了复杂度和延迟，而在某些情况下对BDOF不够宽松，导致错过了更多编解码增益的机会。

发明内容

本节提供本公开的一般性概述，而并非对其全部范围或所有特征的全面公开。