[发明专利]用于神经网络量化的方法和装置

权利要求书

1.一种用于神经网络量化的方法，所述方法包括：

对具有第一比特精度的第一神经网络执行多个周期的前馈和反向传播学习；

针对所述第一神经网络中的每一层，获得初始权重与通过每个周期的学习来确定的经更新的权重之间的权重差；

分析每一层的权重差的统计量；

基于经分析的统计量，从各层中确定要以低于所述第一比特精度的第二比特精度来量化的一个或多个层；以及

通过以所述第二比特精度量化所确定的一个或多个层来生成第二神经网络。

2.根据权利要求1所述的方法，其中，所述统计量包括每一层的权重差的均方。

3.根据权利要求1所述的方法，还包括：按照所述经分析的统计量的大小的顺序对各层进行排序，

其中，对要量化的一个或多个层的确定包括：从经排序的各层中识别具有相对小的经分析的统计量的大小的层。

4.根据权利要求3所述的方法，其中，对要量化的一个或多个层的确定包括：当以所述第二比特精度来量化经排序的各层中的一些层时，响应于与所述第一神经网络相比，神经网络的准确度损失在阈值内，使用二分搜索算法来识别要量化的一个或多个层。

5.根据权利要求4所述的方法，其中，所述准确度损失包括所述神经网络的识别率。

6.根据权利要求3所述的方法，其中，对要量化的一个或多个层的确定包括：按照所述经分析的统计量的大小的升序，从经排序的各层中确定一定数量的层作为所述一个或多个层。

7.根据权利要求3所述的方法，其中，对要量化的一个或多个层的确定包括：不将经排序的各层中的具有最小的经分析的统计量的大小的层确定为要量化的一个或多个层。

8.根据权利要求1所述的方法，其中，

所述第一神经网络具有所述第一比特精度的定点参数的层，并且所述第一神经网络是从具有第三比特精度的浮点参数的层的第三神经网络来量化的，其中，所述第三比特精度高于所述第一比特精度，并且

经量化的第二神经网络包括具有所述第二比特精度的定点参数的所确定的一个或多个层和具有所述第一比特精度的定点参数的其他层。

9.根据权利要求1所述的方法，还包括：响应于所述第一神经网络具有所述第一比特精度的浮点参数的层，将除了所述一个或多个层之外的层量化为第四比特精度的定点参数的层，其中，所述第四比特精度低于所述第一比特精度且高于所述第二比特精度，

其中，经量化的第二神经网络包括具有所述第二比特精度的定点参数的所确定的一个或多个层以及具有所述第四比特精度的定点参数的层。

10.一种存储指令的非暂时性计算机可读存储介质，所述指令当由处理器执行时使所述处理器执行权利要求1中限定的方法。

11.一种用于神经网络量化的装置，所述装置包括：

处理器，被配置为：

针对具有第一比特精度的第一神经网络，执行多个周期的前馈和反向传播学习；

针对所述第一神经网络中的每一层，获得初始权重与通过每个周期的学习来确定的经更新的权重之间的权重差；

分析每一层的权重差的统计量；

基于经分析的统计量，从各层中确定要以低于所述第一比特精度的第二比特精度来量化的一个或多个层；以及

通过以所述第二比特精度量化所确定的一个或多个层来生成第二神经网络。

12.根据权利要求11所述的装置，其中，所述统计量包括每一层的权重差的均方。

13.根据权利要求11所述的装置，其中，所述处理器还被配置为：

按照所述经分析的统计量的大小对各层进行排序；以及

将经排序的各层中的具有相对小的经分析的统计量的大小的层确定为要量化的一个或多个层。