[发明专利]用于视频编码的方法和设备

说明书

本公开内容的各方面提供用于视频处理的方法和设备。在一些示例中，用于视频处理的设备包括处理电路。处理电路将颜色空间中的子采样格式的图片转换成颜色空间中的非子采样格式。然后，处理电路在将非子采样格式的图片作为输入提供给基于神经网络的滤波器之前，对非子采样格式的图片的颜色分量的值进行裁剪。

引用合并

本申请要求2021年8月31日提交的美国专利申请第17/463,352号“METHOD ANDAPPARATUS FOR VIDEO CODING”的优先权权益，该美国专利申请要求2020年12月29日提交的美国临时申请第63/131,656号的“APPLICATION OF CLIPPING TO IMPROVE PRE-PROCESSING IN A NEURAL NETWORK BASED IN-LOOP FILTER IN A VIDEO CODEC”的优先权权益。在此通过引用将在先申请的全部公开内容全部并入。

技术领域

本公开内容描述总体上涉及视频编码的实施方式。更具体地，本公开内容提供了用于改进基于神经网络的环路内滤波器的技术。

背景技术

本文提供的背景技术描述是为了总体上呈现本公开内容的上下文的目的。当前署名的发明人的工作，就在该背景技术部分中描述该工作的程度而言，以及在提交时可能不构成现有技术的说明书的各方面，既未明示地也未隐含地被承认为是本公开内容的现有技术。

可以使用具有运动补偿的图片间预测来执行视频编码和解码。未压缩数字视频可以包括一系列图片，每个图片具有例如1920×1080个亮度样本和相关色度样本的空间维度。该系列图片可以具有例如每秒60幅图片或60Hz的固定或可变的图片速率(非正式地也称为帧速率)。未压缩视频具有特定的比特率要求。例如，每样本8比特的1080p60 4:2:0视频(60Hz帧速率的1920×1080亮度样本分辨率)需要接近1.5Gbit/s带宽。一小时的这样的视频需要超过600千兆字节(GByte)的存储空间。

视频编码和解码的一个目的可以是通过压缩减少输入视频信号中的冗余。压缩可以帮助减少前述带宽或存储空间要求，在一些情况下减少两个数量级或更多。可以采用无损压缩和有损压缩两者及其组合。无损压缩是指可以由压缩的原始信号重建原始信号的精确副本的技术。当使用有损压缩时，重建信号可能与原始信号不相同，但是原始信号与重建信号之间的失真足够小，以使得重建信号对于预期应用有用。在视频的情况下，广泛采用有损压缩。容许的失真量取决于应用；例如，某些消费者流式传输应用的用户可以比电视分发应用的用户容忍更高的失真。可实现的压缩比可以反映：较高的可允许/可容忍的失真可以产生较高的压缩比。

视频编码器和解码器可以利用来自若干宽泛类别的技术，包括例如运动补偿、变换、量化和熵编码。

视频编解码技术可以包括被称为帧内编码的技术。在帧内编码中，在不参考来自先前重建的参考图片的样本或其他数据的情况下表示样本值。在一些视频编解码器中，将图片在空间上细分为样本块。当所有的样本块都以帧内模式编码时，该图片可以是帧内图片。帧内图片及其派生(例如独立解码器刷新图片)可以用于重置解码器状态，并且因此可以用作经编码视频比特流和视频会话中的第一图片，或用作静止图片。可以使帧内块的样本经受变换，并且可以在熵编码之前量化变换系数。帧内预测可以是使预变换域的样本值最小的技术。在一些情况下，变换之后的DC值越小，且AC系数越小，在给定量化步长尺寸下表示熵编码之后的块所需的比特越少。

传统的帧内编码，例如从例如MPEG-2代编码技术中已知的帧内编码，不使用帧内预测。然而，一些较新的视频压缩技术包括从例如在空间相邻的并且按解码顺序在前的数据块的编码/解码期间获得的周围样本数据和/或元数据进行尝试的技术。这样的技术此后被称为“帧内预测”技术。注意，在至少一些情况下，帧内预测仅使用来自重建中的当前图片而不是来自参考图片的参考数据。