[发明专利]一种神经网络模型压缩方法及装置

权利要求书

1.一种神经网络模型压缩方法，其特征在于，所述方法包括：

对已训练的神经网络模型中的权重和激活值进行量化；

确定量化后的神经网络模型中每一层的位剪枝强度；

针对所述量化后的神经网络模型的每一层，基于该层的位剪枝强度对该层中的权重进行剪枝处理；

对剪枝处理后的神经网络模型进行重训练。

2.根据权利要求1所述的方法，其特征在于，所述对已训练的神经网络模型中的权重和激活值进行量化，包括：

依据设定的量化位宽对已训练的神经网络模型中的权重和激活值进行量化。

3.根据权利要求1所述的方法，其特征在于，所述确定量化后的神经网络模型中每一层的位剪枝强度，包括：

利用启发式算法对量化后的神经网络模型中每一层的冗余度进行测试；

依据测试结果确定量化后的神经网络模型中每一层的位剪枝强度。

4.根据权利要求1所述的方法，其特征在于，所述对剪枝处理后的神经网络模型进行重训练，包括：

利用改进的梯度下降算法对剪枝处理后的神经网络模型进行重训练，所述改进的随机梯度下降算法是指：利用直通梯度估计法确定下降梯度并判断使用所述下降梯度更新量化后的权重是否能够满足设定条件，如果是，则使用所述下降梯度更新量化后的权重；如果否，则不对所述量化后的权重进行更新。

5.根据权利要求1～4任一所述的方法，其特征在于，所述方法还包括：

将重训练后的神经网络模型部署到位串行加速器上。

6.一种神经网络模型压缩装置，其特征在于，所述装置包括：

量化模块，用于对已训练的神经网络模型中的权重和激活值进行量化；

确定模块，用于确定量化后的神经网络模型中每一层的位剪枝强度；

剪枝模块，用于针对所述量化后的神经网络模型的每一层，基于该层的位剪枝强度对该层中的权重进行剪枝处理；

重训练模块，用于对剪枝处理后的神经网络模型进行重训练。

7.根据权利要求6所述的装置，其特征在于，所述量化模块对已训练的神经网络模型中的权重和激活值进行量化，包括：

依据设定的量化位宽对已训练的神经网络模型中的权重和激活值进行量化。

8.根据权利要求6所述的装置，其特征在于，所述确定模块确定量化后的神经网络模型中每一层的位剪枝强度，包括：

利用启发式算法对量化后的神经网络模型中每一层的冗余度进行测试；

依据测试结果确定量化后的神经网络模型中每一层的位剪枝强度。

9.根据权利要求6所述的装置，其特征在于，所述重训练模块对剪枝处理后的神经网络模型进行重训练，包括：

利用改进的梯度下降算法对剪枝处理后的神经网络模型进行重训练，所述改进的随机梯度下降算法是指：利用直通梯度估计法确定下降梯度并判断使用所述下降梯度更新量化后的权重是否能够满足设定条件，如果是，则使用所述下降梯度更新量化后的权重；如果否，则不对所述量化后的权重进行更新。

10.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线；

其中，所述处理器、通信接口、存储器通过所述通信总线进行相互间的通信；

所述存储器，用于存放计算机程序；

所述处理器，用于执行所述存储器上所存放的计算机程序，所述处理器执行所述计算机程序时实现权利要求1-5任一所述方法的步骤。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-5任一所述方法的步骤。