[发明专利]用于视频编码和解码的装置、方法和计算机程序

说明书

一种方法包括：获得包括多个帧内预测模式不可知层和一个或多个帧内预测模式特定层的至少一个神经网络的配置，一个或多个帧内预测模式特定层对应于不同的帧内预测模式；获得包括多个块的至少一个输入视频帧；确定使用帧内预测来编码一个或多个块；确定用于一个或多个块中的每一块的帧内预测模式；将具有相同帧内预测模式的块分组成组，每个组被分配有在多个帧内预测模式不可知层和一个或多个帧内预测模式特定层之中的计算路径；基于神经网络的与块组有关的输出与标注块之间的训练损失来训练神经网络的多个帧内预测模式不可知层和/或一个或多个帧内预测模式特定层，其中，标注块是输入视频帧的块或者是重建块；以及使用被分配给块的帧内预测模式的计算路径来对该块进行编码。

技术领域

本发明涉及用于视频编码和解码的装置、方法和计算机程序。

背景技术

所谓的混合视频压缩是基于执行帧内预测和帧间预测、然后对残差或预测误差进行变换编码。在帧内模式中，视频帧的块从同一帧的空间相邻块来预测。然后，只有帧内预测块与原始块之间的预测误差或残差需要被编码。不仅在解码器处，而且在编码器中，更具体地在编码器的“解码环路”中，执行帧内预测过程，以便计算残差。

通常使用算法方法(即，不使用学习方法)来执行帧内预测过程。帧内预测通常涉及多个预定义预测模式，其中，在编码期间，对于待被预测的块，尝试所有或若干预测模式，并且针对所述块的最适合的预测模式是例如基于预测块与真实块之间的均方误差(MSE)来选择的。

帧内预测过程的目标是获得最小可能预测误差或残差，因此，要求更少的比特来对消耗整个视频的比特流的很大一部分的帧内帧进行编码。然而，上述的算法方法已受限于在预测准确度方面已经饱和的这种最终研究和开发。因此，可以使用学习方法实现进一步的开发。

发明内容

现在为了至少减轻以上问题，在此引入一种增强型编码方法。

根据第一方面的方法包括：获得包括多个帧内预测模式不可知层和一个或多个帧内预测模式特定层的至少一个神经网络的配置，一个或多个帧内预测模式特定层对应于不同的帧内预测模式；获得包括多个块的至少一个输入视频帧；确定使用帧内预测来编码一个或多个块；确定用于所述一个或多个块中的每一块的帧内预测模式；将具有相同帧内预测模式的块分组成组，每个组被分配有在多个帧内预测模式不可知层和一个或多个帧内预测模式特定层之中的计算路径；基于神经网络的与块组有关的输出与标注(ground-truth)块之间的训练损失来训练神经网络的多个帧内预测模式不可知层和/或一个或多个帧内预测模式特定层，其中，标注块是输入视频帧的块或者是重建块；以及使用被分配给用于块的帧内预测模式的计算路径来对块进行编码。

第二方面涉及一种装置，其包括：用于获得包括多个帧内预测模式不可知层和一个或多个帧内预测模式特定层的至少一个神经网络的配置的部件，一个或多个帧内预测模式特定层对应于不同的帧内预测模式；用于获得包括多个块的至少一个输入视频帧的部件；用于确定使用帧内预测来编码一个或多个块的部件；用于确定用于所述一个或多个块中的每一块的帧内预测模式的装置；用于将具有相同帧内预测模式的块分组成组的部件，每个组被分配有在多个帧内预测模式不可知层和一个或多个帧内预测模式特定层之中的计算路径；用于基于神经网络的与块组有关的输出与标注块之间的训练损失来训练神经网络的多个帧内预测模式不可知层和/或一个或多个帧内预测模式特定层的部件，其中，标注块是输入视频帧的块或者是重建块；以及用于使用被分配给用于块的帧内预测模式的计算路径来对块进行编码的部件。

根据实施例，至少一个神经网络的配置包括预先训练的神经网络，并且该装置还包括用于使用输入视频帧的块作为标注块的部件。

根据实施例，该装置还包括用于在包括编码块组的比特流中或沿着该比特流指示指明被定义为训练块的块组的信息的部件。

根据实施例，神经网络的配置包括(一个或多个)层的模式不可知区和(一个或多个)层的模式特定区。