[发明专利]视频编解码系统中多重假设预测的方法和装置

说明书

公开了一种用于预测编解码的方法和装置。根据该方法，确定组合预测成员，其中每个组合预测成员包括使用从权重集中选择的目标权重的第一预测候选和第二预测候选的权重和。确定与组合预测成员相关联的边界匹配成本，其中，针对具有目标权重的组合预测成员，通过使用基于具有目标权重的组合预测成员的当前块的预测样本和当前块的相邻重建样本来确定每个边界匹配成本。然后使用基于至少一个边界匹配成本决定的最终组合预测来编码或解码当前块。

交叉引用

本申请享有2021年12月29日提交的申请号为63/294,424的美国临时专利申请之优先权，该先前申请在此全文引用。

技术领域

本发明涉及视频编解码系统。特别地，本发明涉及多重假设的预测编解码。

背景技术

通用视频编码(VVC)是由ITU-T视频编码专家组(VCEG)的联合视频专家组(JVET)和ISO/IEC运动图像专家组(MPEG)共同制定的最新国际视频编解码标准。该标准已作为ISO标准发布：ISO/IEC 23090-3:2021，信息技术-沉浸式媒体的编码表示-第3部分：通用视频编码，2021年2月发布。VVC是在其前身HEVC(High Efficiency Video Coding)基础上，通过添加更多的编解码工具来提高编解码效率，还可以处理各种类型的视频源，包括3维(3D)视频信号。

图1A说明了包含循环处理的示例性自适应帧间/帧内视频编码系统。对于帧内预测110，预测数据是根据当前图片中先前编码的视频数据导出的。对于帧间预测112，在编码器侧执行运动估计(ME)并且基于ME的结果执行运动补偿(MC)以提供从其他画面和运动数据导出的预测数据。开关114选择帧内预测110或帧间预测112并且所选择的预测数据被提供给加法器116以形成预测误差，也称为残差。预测误差然后由变换(T)118和随后的量化(Q)120处理。变换和量化的残差然后由熵编码器122编码以包括在对应于压缩视频数据的视频比特流中。与变换系数相关联的比特流然后与辅助信息(例如与帧内预测和帧间预测相关联的运动和编码模式)以及其他信息(例如与应用于底层图像区域的环路滤波器相关联的参数)一起打包。与帧内预测110、帧间预测112和环内滤波器130相关联的辅助信息被提供给熵编码器122，如图1A所示。当使用帧间预测模式时，也必须在编码器端重建一个或多个参考图片。因此，经变换和量化的残差由逆量化(IQ)124和逆变换(IT)126处理以恢复残差。然后在重建(REC)128处将残差加回到预测数据136以重建视频数据。重建的视频数据可以存储在参考图片缓冲器134中并用于预测其他帧。

如图1A所示，输入的视频数据在编码系统中经过一系列处理。由于一系列处理，来自REC128的重建视频数据可能会受到各种损害。因此，环路滤波器130经常在重构视频数据被存储在参考图片缓冲器134中之前应用于重构视频数据以提高视频质量。例如，可以使用去块滤波器(DF)、样本自适应偏移(SAO)和自适应环路滤波器(ALF)。可能需要将环路滤波器信息合并到比特流中，以便解码器可以正确地恢复所需的信息。因此，环路滤波器信息也被提供给熵编码器122以合并到比特流中。在图1A中，环路滤波器130在重构样本被存储在参考图片缓冲器134中之前被应用于重构视频。图1A中的系统旨在说明典型视频编码器的示例性结构。它可能对应于高效视频编码(HEVC)系统、VP8、VP9、H.264或VVC。

如图1B所示，解码器可以使用与编码器相似或相同的功能块，除了变换118和量化120之外，因为解码器只需要逆量化124和逆变换126。代替熵编码器122，解码器使用熵解码器140将视频比特流解码为量化的变换系数和所需的编码信息(例如ILPF信息、帧内预测信息和帧间预测信息)。解码器侧的帧内预测150不需要执行模式搜索。相反，解码器仅需要根据从熵解码器140接收的帧内预测信息生成帧内预测。此外，对于帧间预测，解码器仅需要根据从熵解码器140接收的帧间预测信息执行运动补偿(MC 152)而无需运动估计。