[发明专利]基于非对称三元权重量化的深度神经网络模型压缩方法

说明书

本发明公开了一种基于非对称三元权重量化的深度神经网络模型压缩方法，包括：在深度神经网络训练时，在每一次前向计算之前，将网络的每一层浮点权重量化为非对称的三元值，参数更新阶段使用原始的浮点型网络权重；对训练完成的深度神经网络进行压缩存储。去除深度神经网络的冗余参数，对网络模型进行压缩，有效地提升了量化方法在大数据集上的识别准确率。

技术领域

本发明涉及卷积神经网络的压缩技术领域，具体地涉及一种基于非对称三元权重量化的深度神经网络模型压缩方法。

背景技术

近年来，随着深度学习算法的快速发展，深度神经网络在语音识别、图像分类和自然语言处理等一系列机器学习任务中取得了最先进的成果。然而，典型的深度神经网络通常具有数以百万计的参数，使其很难被部署到只有有限存储与计算资源的嵌入式设备当中，如何实现深度神经网络的模型压缩成为当前深度学习的重要研究方向。

目前，典型的模型压缩方法分为两种，其一是优化网络的结构从而减少网络的参数数目，ICLR2016最佳论文Deep Compression详细的介绍了此种方法，可以实现数十倍的模型压缩比，但是此种方法实现难度较大，步骤较为复杂。其二为通过降低网络精度来降低网络存储，比如目前较为常见的二值化网络(Binary Connect)和对称三值化网络(Ternaryweight networks),上述方法在较小的数据集上取得了不低于浮点型网络的准确率，但是在较大的数据集如ImageNet上的准确率损失较大。

目前最新的三元权重量化方法(Ternary weight networks)会将网络权重量化到{-α,0,+α}三元值当中，其采用的量化方法为：

在量化方法的选择当中，其认为经过训练之后，网络的正负权重满足相同的分布，极大的限制了三元权重网络的表达能力。

发明内容

针对上述存在的技术问题，本发明目的是：提供了一种基于非对称三元权重量化的深度神经网络模型压缩方法，去除深度神经网络的冗余参数，对网络模型进行压缩，有效地提升了量化方法在大数据集上的识别准确率。

本发明的技术方案是：

一种基于非对称三元权重量化的深度神经网络模型压缩方法，包括以下步骤：

S01：在深度神经网络训练时，在每一次前向计算之前，将网络的每一层浮点权重量化为非对称的三元值，参数更新阶段使用原始的浮点型网络权重；

S02：对训练完成的深度神经网络进行压缩存储。

优选的技术方案中，所述三元值为：

其中l代表对应的网络层，是量化过程中采用的阈值，为对应的缩放因子。

优选的技术方案中，通过L2范式最小来降低量化过程所带来的损失，公式如下：

对于任意给定的阈值缩放因子为：

其中并且表示中元素的个数；

阈值因子为：

优选的技术方案中，采用近似计算的方法获取阈值因子的近似值：

其中I^p＝{i|W_li≥0|i＝1,2…n}，Iⁿ＝{i|W_li<0|i＝1,2,…n}。