[发明专利]基于分类器的卷积神经网络环路滤波器

权利要求书

1.一种用于视频编码的装置，包括：

存储器，用于存储至少一个重建视频帧；以及

一个或多个处理器，与所述存储器耦合，所述一个或多个处理器用于：

将所述至少一个重建视频帧的多个区域中的每个区域分类到多个分类中的所选分类中，所述重建视频帧对应于输入视频的原始视频帧；

使用具有相应的所选分类的那些区域为每个分类训练卷积神经网络环路滤波器，以生成多个经训练的卷积神经网络环路滤波器；

选择所述经训练的卷积神经网络环路滤波器的子集，所述子集至少包括第一经训练的卷积神经网络环路滤波器，该第一经训练的卷积神经网络环路滤波器使所述原始视频帧与使用所述重建视频帧和所述第一经训练的卷积神经网络环路滤波器生成的滤波后视频帧之间的失真最小化；

至少部分基于所述经训练的卷积神经网络环路滤波器的子集来对所述输入视频进行编码；以及

将所述子集的每个卷积神经网络环路滤波器的卷积神经网络环路滤波器参数和经编码的视频编码到比特流中。

2.如权利要求1所述的装置，其中，所述一个或多个处理器将每个区域分类到所选分类中是基于按照通用视频编码标准对每个区域的自适应环路滤波器分类的。

3.如权利要求1所述的装置，其中，所述一个或多个处理器选择所述经训练的卷积神经网络环路滤波器的子集包括所述一个或多个处理器进行以下操作：

将每个经训练的卷积神经网络环路滤波器应用到所述重建视频帧；

对于分类和经训练的卷积神经网络环路滤波器的每个组合，确定失真值，并且对于每个分类，确定在不使用任何经训练的卷积神经网络环路滤波器的情况下的基线失真值；

对于所述重建视频帧，对于每个经训练的卷积神经网络环路滤波器基于这个经训练的卷积神经网络环路滤波器的失真值和所述基线失真值生成帧级失真；以及

选择所述第一经训练的卷积神经网络环路滤波器作为具有最低帧级失真的经训练的卷积神经网络环路滤波器。

4.如权利要求3所述的装置，所述一个或多个处理器用于：

响应于第二经训练的卷积神经网络环路滤波器具有的帧级失真增益超过所述第二经训练的卷积神经网络环路滤波器的模型开销，而选择所述第二经训练的卷积神经网络环路滤波器来包括在所述子集中，所述帧级失真增益是使用所述第二经训练的卷积神经网络环路滤波器相对于只使用所述第一经训练的卷积神经网络环路滤波器而言的。

5.如权利要求1所述的装置，所述一个或多个处理器用于：

通过所述一个或多个处理器进行以下操作来为第二重建视频帧生成映射表，所述映射表将分类映射到所述经训练的卷积神经网络环路滤波器的子集：

将所述第二重建视频帧的多个第二区域中的每个第二区域分类到所述分类中的第二所选分类中；

对于每个分类，确定在使用所述经训练的卷积神经网络环路滤波器的子集中的所选一个经训练的卷积神经网络环路滤波器的情况下的最小失真和在不使用任何经训练的卷积神经网络环路滤波器的情况下的基线失真；以及

对于每个分类，响应于该分类的最小失真小于所述基线失真而指派所述经训练的卷积神经网络环路滤波器的子集中的所选一个经训练的卷积神经网络环路滤波器，或者响应于该分类的最小失真不小于所述基线失真而跳过卷积神经网络环路滤波。

6.如权利要求1所述的装置，所述一个或多个处理器用于：

对于第二重建视频帧的编码单元，使用映射表来确定在卷积神经网络环路滤波开启的情况下的编码单元级失真，所述映射表指示出所述经训练的卷积神经网络环路滤波器的子集中的哪些经训练的卷积神经网络环路滤波器将被应用到所述编码单元的块；以及

响应于所述编码单元级失真小于在不使用卷积神经网络环路滤波的情况下的编码单元级失真，标记卷积神经网络环路滤波开启，或者响应于所述编码单元级失真不小于在不使用卷积神经网络环路滤波的情况下的编码单元级失真，标记卷积神经网络环路滤波关闭。