[发明专利]用于生成定点型神经网络的方法和装置

权利要求书

1.一种通过量化浮点型神经网络生成定点型神经网络的方法，方法包括：

由设备通过将激活函数应用于从包括在浮点型神经网络中的层接收的多个激活值获得多个后激活值；

由设备导出对于多个后激活值中的至少一些的多个统计特征；

由设备基于多个统计特征确定对于浮点型神经网络的量化的步长；以及

由设备基于步长确定对于定点型神经网络的最终小数长度。

2.如权利要求1所述的方法，其中，多个统计特征的导出包括，在多个后激活值当中，导出对于大于0的正值的多个统计特征。

3.如权利要求1所述的方法，其中，多个统计特征的导出包括，基于多个后激活值中的至少一些，导出要用于将广义伽马分布曲线拟合到多个后激活值中的至少一些的多个参数，作为多个统计特征。

4.如权利要求3所述的方法，其中，基于多个后激活值中的至少一些的均值和方差，导出多个参数中的任何一个或任何组合。

5.如权利要求3所述的方法，其中，基于N个量化等级执行浮点型神经网络的量化，N是2或更大的自然数，并且

基于多个统计特征确定N个量化等级之间的步长，使得对于多个后激活值的概率密度函数的N个量化等级的总体失真被最小化。

6.如权利要求5所述的方法，其中，基于N个量化等级和多个参数通过封闭式方程式确定步长。

7.如权利要求1所述的方法，其中，最终小数长度的确定包括：

基于步长，导出具有不同整数值的第一小数长度和第二小数长度；并且

将第一小数长度和第二小数长度中的一个确定为最终小数长度。

8.如权利要求7所述的方法，其中，通过将与步长相对应的第三小数长度向上舍入获得第一小数长度，并且

通过将与步长相对应的第三小数长度向下舍入获得第二小数长度。

9.如权利要求7所述的方法，其中，最终小数长度的确定还包括，基于第一小数长度和第二小数长度，分别地确定对于多个后激活值的概率密度函数的量化等级的第一总体失真和第二总体失真，并且

将与具有更小值的第一总体失真和第二总体失真中的一个相对应的第一小数长度和第二小数长度中的一个确定为最终小数长度。

10.如权利要求7所述的方法，其中，最终小数长度的确定还包括：

基于第一小数长度，测试定点型神经网络，以导出第一量化误差；并且

基于第二小数长度，测试定点型神经网络，以导出第二量化误差，并且

将与具有更小值的第一量化误差和第二量化误差中的一个相对应的第一小数长度和第二小数长度中的一个确定为最终小数长度。

11.如权利要求1所述的方法，其中，浮点型神经网络的量化包括均匀地量化量化区间。

12.包括指令的非暂时性计算机可读介质，指令当被运行时使得处理器执行以下中的方法：

由设备通过将激活函数应用于从浮点基础上的预训练的神经网络的层接收的多个激活值选择多个后激活值的组；

由设备基于多个后激活值的组导出对于广义伽马分布的多个参数；

由设备基于多个参数确定对于预训练的神经网络的量化的步长；以及

由设备基于步长确定对于定点型神经网络的小数长度。

13.如权利要求12所述的非暂时性计算机可读介质，其中，组的选择包括，在多个后激活值当中选择大于0的正值，作为多个后激活值的组。

14.如权利要求12所述的非暂时性计算机可读介质，其中，基于多个后激活值的组的均值和方差，导出多个参数中的任何一个或任何组合。