[发明专利]神经网络模型压缩

说明书

描述了神经网络模型压缩/解压缩的方法和装置。在一些示例中，神经网络模型解压缩的装置包括接收电路和处理电路。处理电路可以被配置成从神经网络的压缩表示的比特流接收依赖性量化启用标志。依赖性量化启用标志可以指示是否将依赖性量化方法应用于神经网络的模型参数。响应于依赖性量化启用标志指示使用依赖性量化方法对神经网络的模型参数进行编码，可以基于依赖性量化方法来重构神经网络的模型参数。

相关申请的交叉引用

本公开内容要求于2021年4月8日提交的题为“Neural Network ModelCompression”的美国专利申请第17/225,486号的优先权，该美国专利申请要求于2020年4月16日提交的题为“Dependent Quantization Enabling Flag for Neural NetworkModel Compression”的美国临时申请第63/011,122号、于2020年4月17日提交的题为“Sublayer Ordering in Bitstream for Neural Network Model Compression”的美国临时申请第63/011,908号、于2020年6月23日提交的题为“Sublayer ordering flag forNeural Network Model Compression”的美国临时申请第63/042,968号以及于2020年7月15日提交的题为“Syntax Elements for Neural Network Model Compression withStructured Weight Unification”的美国临时申请第63/052,368号的优先权。在先申请的公开内容通过引用整体并入本文。

技术领域

本公开内容描述了总体上涉及神经网络模型压缩/解压缩的实施方式。

背景技术

本文提供的背景描述是出于总体上呈现本公开内容的背景的目的。就在此背景技术部分中描述工作的程度而言，目前署名的发明人的工作以及在提交时可不被另外限定为现有技术的描述的各方面既没有明确地也没有隐含地被承认为针对本公开内容的现有技术。

计算机视觉、图像识别和语音识别领域中的各种应用依赖于神经网络来实现性能改进。神经网络基于连接的节点(也称为神经元)的集合，这些节点对生物大脑中的神经元进行松散建模。神经元可以被组织成多层。一层的神经元可以连接到紧接的前层和紧接的后层的神经元。

两个神经元之间的连接，如生物大脑中的突触，可以将信号从一个神经元传送到另一个神经元。然后接收信号的神经元处理该信号并可以向其他连接的神经元发信号。在一些示例中，为了得到神经元的输出，通过从该神经元的输入的连接的权重对该神经元的输入进行加权，并且加权的输入被求和以生成加权和。可以向加权和添加偏差。此外，然后加权和被传递通过激活函数以产生输出。

发明内容

本公开内容的各方面提供了神经网络模型压缩/解压缩的方法和装置。在一些示例中，神经网络模型解压缩的装置包括接收电路和处理电路。处理电路可以被配置成从神经网络的压缩表示的比特流接收依赖性量化启用标志。依赖性量化启用标志可以指示是否将依赖性量化方法应用于神经网络的模型参数。响应于依赖性量化启用标志指示使用依赖性量化方法对神经网络的模型参数进行编码，可以基于依赖性量化方法来重构神经网络的模型参数。

在实施方式中，在模型水平、层水平、子层水平、3维编码单元(3-dimensionalcoding unit，CU3D)水平或3维编码树单元(3-dimensional coding tree unit，CTU3D)水平用信号传输依赖性量化启用标志。在实施方式中，可以响应于依赖性量化启用标志指示使用均匀量化方法对神经网络的模型参数进行编码，基于均匀量化方法来构建神经网络的模型参数。