[发明专利]用于深度神经网络的基于光标的自适应量化

权利要求书

1.一种用于减小包括多个层的神经网络的存储器大小的计算机实现方法，所述方法包括：

响应于没有达到停止条件，执行包括以下各项的步骤：

将从包括输入数据和对应地面真值数据的训练数据集获得的训练数据批次输入到所述神经网络中以获得训练数据输出；

给定来自所述神经网络的所述训练数据输出和损失函数，确定所述神经网络的训练数据损失，所述损失函数包括与所述神经网络的预测准确度相关的损失分量和与在量化之后的所述神经网络的参数值的存储器大小相关的压缩分量；

使用所述训练数据损失更新所述神经网络的所述参数值中的至少一些；

将从包括输入数据和对应地面真值数据的验证数据集获得的验证数据批次输入到所述神经网络中以获得验证数据输出；

给定来自所述神经网络的所述验证数据输出和所述损失函数，确定所述神经网络的验证数据损失；

使用所述验证数据损失更新所述神经网络的所述层中的至少一些的光标值，其中所述神经网络中的层的光标值与用于表示该层的参数值的存储器大小相关；以及

针对所述层中的至少一些中的每个层，使用界定该层的光标值的两个整数来量化所述神经网络的该层的参数值，经过量化的参数值用于确定所述损失函数的所述压缩分量；以及

响应于达到停止条件：

输出所述神经网络的所述层中的所述至少一些的最终光标值，其中所述神经网络的层的最终光标值是用于表示所述神经网络的该层的参数值的位大小；以及

输出所述神经网络的一组参数值。

2.根据权利要求1所述的计算机实现方法，其中量化所述神经网络的层的参数值的步骤包括：

针对所述层的所述光标值，识别上限整数值和下限整数值，其中所述上限整数值和所述下限整数值是界定所述光标值并表示用于表示所述层的参数值的存储器位大小的两个最近整数值；以及

将所述层的所述参数值量化为上限参数值集，在所述上限参数值集中参数值具有所述上限整数值的最大位大小；以及

将所述层的所述参数值量化为下限参数值集，在所述下限参数值集中参数值具有所述下限整数值的最大位大小。

3.根据权利要求1所述的计算机实现方法，其中输出最终光标值和输出所述神经网络的所述一组参数值的步骤包括：

针对来自最终迭代的不是整数值的每个光标值，将所述光标值舍入到整数值；以及

使用所述最终光标值来量化来自所述最终迭代的所述参数值以获得所述神经网络的所述一组参数值。

4.根据权利要求3所述的计算机实现方法，其还包括：

执行微调操作以调整所述一组参数值中的至少一些。

5.根据权利要求2所述的计算机实现方法，其中所述压缩分量包括：

给定所述参数值的量化的所述神经网络的总存储器大小相对于在量化之前的所述神经网络的存储器大小的比率；以及

控制所述神经网络的准确度与参数值的压缩之间的权衡的正则化因子。

6.根据权利要求5所述的计算机实现方法，其中所述比率由影响所述比率在所述损失函数中的重要性的参数来更改。

7.根据权利要求5所述的计算机实现方法，其中给定所述参数值的量化的所述神经网络的所述总存储器大小表示使用所述上限参数值集和所述下限参数值集获得的融合。

8.根据权利要求1所述的计算机实现方法，其还包括：

不对所述神经网络的第一层的参数值进行量化；

不对所述神经网络的最后一层的参数值进行量化；或者

不对所述神经网络的所述第一层和所述最后一层的参数值进行量化。

9.根据权利要求1所述的计算机实现方法，其还包括：

初始化所述神经网络的所述层中的至少一些的光标值；

初始化所述神经网络的所述参数值；以及

初始化批次大小。