[发明专利]适合于硬件实现的神经网络参数优化方法、神经网络计算方法和装置

权利要求书

1.一种神经网络参数优化方法，包括：

将神经网络中的现有参数变换成符号化参数和对于每个通道具有单个值的大小参数；以及

通过剪枝已变换的大小参数生成优化参数。

2.根据权利要求1所述的神经网络参数优化方法，其特征在于，所述符号化参数确定对于所述现有参数的每个通道的元素方向，大小参数是将权重优化为对于现有参数的每个通道的单个代表值的参数。

3.根据权利要求1所述的神经网络参数优化方法，其中，所述变换包括通过计算对于现有参数的每个通道元素的绝对值的平均值而生成大小参数。

4.根据权利要求1所述的神经网络参数优化方法，其中，若构成现有参数的既定元素小于0，则将对应的符号化参数的元素值表示为0，若构成现有参数的既定元素大于或等于0，则将对应的符号化参数的元素值表示为1来生成符号化参数。

5.根据权利要求1所述的神经网络参数优化方法，其中所述剪枝包括：通过使用对于每个输入通道的大小参数的平均值和大小分布或对于每个输入和输出通道的大小参数的平均值和大小分布来计算参考值；以及将相比于所计算的参考值具有小的值的大小参数设置为零，从而能省略相应通道的卷积计算。

6.根据权利要求5所述的神经网络参数优化方法，其中，

当使用构成预定层的输入通道的大小参数的平均值和大小分布执行剪枝时，以层特定常数与输入通道的大小参数的平均值的乘积计算参考值，当预定输入通道的大小参数的值小于参考值时，通过将相应通道的大小参数的值更改为零来执行剪枝；

当使用构成预定层的输入和输出通道的大小参数的平均值和大小分布执行剪枝时，以层特定常数与输入和输出通道的大小参数的平均值的乘积计算参考值，当预定输入通道的大小参数的值小于参考值时，通过将相应通道的大小参数的值设为零来执行剪枝。

7.根据权利要求6所述的神经网络参数优化方法，其中，根据对于每个层的卷积参数分布来确定层特定常数的值。

8.如权利要求1所述的神经网络参数优化方法，其特征在于，还包括将神经网络的现有参数变换成尺度参数。

9.根据权利要求8所述的神经网络参数优化方法，还包括：

可变地分配所述尺度参数的比特；和

根据用户的选择量化尺度参数元素的值的范围和权重。

10.一种神经网络计算方法，包括：

将神经网络的现有参数和输入通道数据加载到存储器中；

将所述现有参数变换为符号化参数和对于每个通道具有单个值的大小参数，并通过对已变换的大小参数进行剪枝而生成一个优化参数；

通过对所述优化参数和输入通道数据执行卷积计算来进行推断；

校正所述优化参数；以及

将所述校正后的优化参数更新为现有参数。

11.根据权利要求10所述的神经网络计算方法，还包括：

判断是否存在已被学习的参数；

当不存在已被学习的参数时，通过参数初始化生成初始参数；

对所述初始参数生成优化后的参数；以及

当存在已被学习的参数时，加载所述现有参数。

12.根据权利要求10所述的神经网络计算方法，其中，通过对所述优化参数和所述输入通道数据执行卷积计算来进行推断，包括：

将所述优化参数加载到存储器，判断已载入的优化参数中包括的大小参数的值是否为零，以及

当所述大小参数的值为零时省略卷积计算过程。