[发明专利]用于以缩放因子进行基于DNN的交叉分量预测的内容自适应在线训练

说明书

一种用于在图像帧或视频序列的编码或解码期间以缩放因子进行基于神经网络NN的交叉分量预测的方法和装置，其可以包括：以至少一个或多个缩放因子来训练深度神经网络DNN交叉分量预测CCP模型，其中，至少一个或多个缩放因子是通过基于包括亮度分量的输入视频序列对率失真损失进行优化所学习到的因子；使用训练的DNN CCP模型，基于亮度分量重构色度分量，其中，训练的DNN CCP模型是以至少一个或多个缩放因子训练得到的、用于色度预测的模型；使用一个或多个缩放因子来更新训练的DNN CCP模型，以用于输入视频序列的色度预测；以及以一个或多个缩放因子使用更新的DNN CCP模型来执行输入视频序列的色度预测。

相关申请的交叉引用

本申请基于2021年6月15日提交的美国临时专利申请号63/210,762和2022年5月26日提交的美国专利申请号17/825,339，并要求其优先权，其公开内容通过引用整体结合于此。

技术领域

本公开的实施例涉及在编码或解码图像和/或视频序列期间基于神经网络NN的交叉分量预测。

背景技术

视频编码和解码通过压缩减少了输入视频信号中的冗余。无损和有损压缩都有助于减少带宽或存储空间需求，在某些情况下可降低两个数量级或更多。无损压缩是指可以从压缩的原始信号中重构原始信号的精确副本的技术。当使用有损压缩时，重构信号可能与原始信号不相同，但是原始信号和重构信号之间的失真足够小，使得重构信号对预期应用有用。有损压缩广泛应用于视频编码或解码。容许的失真量可能取决于应用。例如，某些消费者流应用的用户可能比电视贡献应用的用户容忍更高的失真。

传统的视频编码标准(例如，H.264/高级视频编码(H.264/AVC)、高效视频编码(HEVC)和通用视频编码(VVC))都是在类似的(递归的)基于块的混合预测/变换框架上设计的，其中，各种编码工具(例如，帧内/帧间预测、整数变换和上下文自适应熵编码)都是精心制作的，以优化整体效率。本质上，时空像素邻域用于预测信号构造，以获得用于后续变换、量化和熵编码的相应残差。然而，这种方法不能通过分析不同层的时空信息来提取不同水平的时空刺激。因此，为了更好的压缩效率和更好的压缩质量，需要探索非线性和非局部时空相关性的方法和装置。

发明内容

根据本公开的一个方面，可以提供一种用于在编码或解码期间以缩放因子进行基于神经网络NN的交叉分量预测的方法，上述方法由一个或多个处理器执行，上述方法包括：以至少一个或多个缩放因子来训练深度神经网络DNN交叉分量预测CCP模型，其中，所述至少一个或多个缩放因子是通过基于包括亮度分量的输入视频序列对率失真损失进行优化所学习到的因子；使用训练的DNN CCP模型，基于所述亮度分量重构色度分量，其中，所述训练的DNN CCP模型是以所述至少一个或多个缩放因子训练得到的、用于色度预测的模型；使用所述一个或多个缩放因子来更新所述训练的DNN CCP模型，以用于所述输入视频序列的色度预测；以及以所述一个或多个缩放因子使用所述更新的DNN CCP模型来执行所述输入视频序列的色度预测。

根据本公开的一个方面，可以提供一种用于在编码或解码期间以缩放因子进行基于神经网络NN的交叉分量预测的装置，上述装置包括：至少一个存储器，所述存储器被配置为存储程序代码；以及至少一个处理器，所述处理器被配置为读取程序代码并按照所述程序代码的指示进行操作，所述程序代码包括：训练代码，所述训练代码被配置为使得所述至少一个处理器以至少一个或多个缩放因子来训练深度神经网络DNN交叉分量预测CCP模型，其中，所述至少一个或多个缩放因子是通过基于包括亮度分量的输入视频序列对率失真损失进行优化所学习到的因子；重构代码，所述重构代码被配置为使得所述至少一个处理器使用训练的DNN CCP模型，基于所述亮度分量重构色度分量，其中，所述训练的DNN CCP模型用于色度预测；更新代码，所述更新代码被配置为使得所述至少一个处理器使用所述一个或多个缩放因子来更新所述训练的DNN CCP模型，以用于所述输入视频序列的色度预测；以及执行代码，所述执行代码被配置为使得所述至少一个处理器以所述一个或多个缩放因子使用所述更新的DNN CCP模型来执行所述输入视频序列的色度预测。