[发明专利]用于人工神经网络的比特量化的方法和系统

权利要求书

1.一种用于量化人工神经网络的比特的方法，所述方法包括：

(a)通过参数选择模块选择多个层中的至少一层；

(b)通过比特量化模块比特量化以将所选层的参数的数据表示的大小减小到比特单位；

(c)通过精度确定模块确定所述人工神经网络的精度是否大于或等于预定目标值；以及

(d)当所述人工神经网络的所述精度大于或等于所述目标值时，重复执行步骤(a)至(c)。

2.根据权利要求1所述的方法，

其中所述人工神经网络为卷积神经网络，且所述多个层包括多个卷积层和多个全连接层，

其中(a)所述选择包括选择所述多个卷积层中的至少一层，以及

其中(b)所述比特量化包括比特量化以将所选卷积层的权重核和特征图中的至少一个元素值的数据表示的大小减小到比特单位。

3.根据权利要求2所述的方法，

其中(a)所述选择包括选择所述多个全连接层中的至少一层，以及

其中(b)所述比特量化包括将所选全连接层的权重核的元素值的数据表示的大小减小到比特单位。

4.根据权利要求1所述的方法，

其中(b)所述比特量化包括：

将所述参数的值裁剪到0和1之间；

通过将裁剪值乘以预定二进制数计算第一值；

通过所述第一值的舍入或截断计算第二值；以及

通过将所述第二值除以所述二进制数计算量化参数。

5.根据权利要求4所述的方法，

还包括使用所述舍入或截断去除所述第一值的小数点。

6.根据权利要求1所述的方法，

其中(a)所述选择包括按照所述多个层的位置顺序选择所述多个层的一层。

7.根据权利要求6所述的方法，

其中(a)所述选择包括通过使用根据所述多个层的排列顺序循序选择接收输入数据的第一层到后续层的方法、和根据所述多个层的排列顺序循序选择生成输出数据的最后一层到前层的方法中的一种方法来从所述多个层中选择至少一层。

8.根据权利要求1所述的方法，

其中(a)所述选择包括：

确定所述多个层中的每层的计算量；以及

按照所确定的计算量的顺序选择所述多个层中的一层。

9.根据权利要求8所述的方法，

其中(a)所述选择包括通过使用从所述多个层中选择计算量最高的层的方法、和从所述多个层中选择计算量最低的层的方法中的一种方法来从所述多个层中选择至少一层。

10.根据权利要求1所述的方法，

还包括通过使用以比特单位减小的数据表示根据所述多个层的参数来训练所述人工神经网络。

11.根据权利要求1所述的方法，

还包括使用以比特单位减小的数据表示根据所述多个层的参数来执行所述人工神经网络的推断过程。

12.根据权利要求1所述的方法，

其中所述比特量化包括将所述多个层的所有权重的数据表示的大小设置为n比特(其中n为n＞0的整数)，以及将所述多个层的输出数据的数据表示的大小设置为m比特(其中m是m＞0的整数)。

13.根据权利要求12所述的方法，

还包括单独且不同地分配所述多个层的参数中权重和输出数据的比特数。

14.根据权利要求1所述的方法，

其中所述比特量化包括将所述多个层的参数中权重和输出数据的数据表示的大小分配为n比特(其中n为n＞0的整数)，以及将分配给所述多个层中的每层的数据表示的比特数设置为不同。