[发明专利]通过微结构嵌套掩码和权重均一化压缩和加速多速率神经图像压缩模型的方法和装置

说明书

一种多速率神经图像压缩方法，由至少一个处理器执行，并且包括：基于第一超参数选择编码掩码，以及执行第一神经网络的第一多个权重与所选择的编码掩码的卷积，以获得第一已掩模权重。该方法还包括：使用第一已掩模权重对输入图像进行编码，以获得已编码表示，以及对所获得的已编码表示进行编码，以获得已压缩表示。

相关申请的交叉引用

本申请要求于2021年5月11日提交的、申请号为17/317,055的美国专利申请的优先权，该美国专利申请要求于2020年8月14日提交的、申请号为63/065,598的美国临时申请的优先权，这两个申请中的每一个申请的公开内容都通过引用整体并入本申请中。

背景技术

标准组织和公司一直在积极地寻找未来视频编解码技术标准化的潜在需要。这些标准组织和公司聚焦于使用深度神经网络(DNN)的基于人工智能(AI)的端到端神经图像压缩(NIC)。这种方法的成功为先进的神经图像和视频压缩方法带来了越来越多的工业利益。

灵活的比特率控制仍然是先前NIC方法的挑战性问题。通常，它可以包括对多个模型实例进行训练，分别针对速率和失真(压缩图像的质量)之间的每个期望的折衷。所有这些多个模型实例可能需要存储并部署在解码器侧，以从不同的比特率重建图像。这对于具有有限存储和计算资源的很多应用而言，可能成本高得令人望而却步。

发明内容

根据实施例，一种多速率神经图像压缩方法，由至少一个处理器执行，并且包括：基于第一超参数选择编码掩码，以及执行第一神经网络的第一多个权重与所选择的编码掩码的卷积，以获得第一已掩模权重。该方法还包括：使用第一已掩模权重对输入图像进行编码，以获得已编码表示，以及对所获得的已编码表示进行编码，以获得已压缩表示。

根据实施例，一种多速率神经图像压缩装置包括：至少一个存储器，被配置为存储程序代码；以及至少一个处理器，被配置为读取程序代码并按照程序代码的指示进行操作，该程序代码包括：第一选择代码，被配置为使至少一个处理器基于超参数选择编码掩码；以及第一执行代码，被配置为使至少一个处理器执行第一神经网络的第一多个权重与所选择的编码掩码的卷积，以获得第一已掩模权重。该程序代码包括：第一编码代码，被配置为使至少一个处理器使用第一已掩模权重对输入图像进行编码，以获得已编码表示；以及第二编码代码，被配置为使至少一个处理器对所获得的已编码表示进行编码，以获得已压缩表示。

根据实施例，一种存储指令的非易失性计算机可读介质，该指令在由至少一个处理器执行以用于多速率神经图像压缩时，使该至少一个处理器：基于超参数选择编码掩码；执行第一神经网络的第一多个权重与所选择的编码掩码的卷积，以获得第一已掩模权重；使用该第一已掩模权重对输入图像进行编码，以获得已编码表示；以及对所获得的已编码表示进行编码，以获得已压缩表示。

附图说明

图1是根据实施例的其中可以实现本文描述的方法、装置和系统的环境的示意图。

图2是图1的一个或多个设备的示例组件的框图。

图3是根据实施例的在测试阶段通过微结构嵌套掩码和权重均一化进行多速率神经图像压缩的测试装置的框图。

图4A是根据实施例的在训练阶段用于通过微结构嵌套掩码和权重均一化进行多速率神经图像压缩的训练装置的框图。

图4B是根据其它实施例的在训练阶段通过微结构嵌套掩码和权重均一化进行多速率神经图像压缩的训练装置的框图。

图5是根据实施例的通过微结构嵌套掩码和权重均一化进行多速率神经图像压缩的方法的流程图。

图6是根据实施例的通过微结构嵌套掩码和权重均一化进行多速率神经图像压缩的装置的框图。

图7是根据实施例的通过微结构嵌套掩码和权重均一化进行多速率神经图像解压缩的方法的流程图。