[发明专利]基于非对称三元权重量化的深度神经网络模型压缩方法在审
| 申请号： | 201810674698.3 | 申请日： | 2018-06-27 |
| 公开（公告）号： | CN108985453A | 公开（公告）日： | 2018-12-11 |
| 发明（设计）人： | 吴俊敏;丁杰;吴焕 | 申请（专利权）人： | 中国科学技术大学苏州研究院 |
| 主分类号： | G06N3/08 | 分类号： | G06N3/08;H03M7/30 |
| 代理公司： | 苏州创元专利商标事务所有限公司 32103 | 代理人： | 范晴;丁浩秋 |
| 地址： | 215123 江苏省苏州*** | 国省代码： | 江苏;32 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 非对称 神经网络模型 权重量化 神经网络 压缩 浮点 神经网络训练 参数更新 前向计算 冗余参数 网络模型 压缩存储 大数据 网络权 有效地 准确率 去除 量化 网络 | ||
1.一种基于非对称三元权重量化的深度神经网络模型压缩方法，其特征在于，包括以下步骤：
S01：在深度神经网络训练时，在每一次前向计算之前，将网络的每一层浮点权重量化为非对称的三元值，参数更新阶段使用原始的浮点型网络权重；
S02：对训练完成的深度神经网络进行压缩存储。
2.根据权利要求1所述的基于非对称三元权重量化的深度神经网络模型压缩方法，其特征在于，所述三元值为：
其中l代表对应的网络层，是量化过程中采用的阈值，为对应的缩放因子。
3.根据权利要求2所述的基于非对称三元权重量化的深度神经网络模型压缩方法，其特征在于，通过L2范式最小来降低量化过程所带来的损失，公式如下：
对于任意给定的阈值缩放因子为：
其中并且表示中元素的个数；
阈值因子为：
4.根据权利要求3所述的基于非对称三元权重量化的深度神经网络模型压缩方法，其特征在于，采用近似计算的方法获取阈值因子的近似值：
其中Ip＝{i|Wli≥0|i＝1,2…n}，In＝{i|Wli<0|i＝1,2,…n}。
5.根据权利要求1所述的基于非对称三元权重量化的深度神经网络模型压缩方法，其特征在于，采用2-bit编码的方式进行压缩存储，在压缩过程中，通过移位操作将16个三元值存储为一个32-bit定点整数。
6.一种基于非对称三元权重量化的深度神经网络模型压缩装置，其特征在于，包括：
一非对称三元权重网络训练模块，在深度神经网络训练时，在每一次前向计算之前，将网络的每一层浮点权重量化为非对称的三元值，参数更新阶段使用原始的浮点型网络权重；
一非对称三元权重存储模块，对训练完成的深度神经网络进行压缩存储。
7.根据权利要求6所述的基于非对称三元权重量化的深度神经网络模型压缩装置，其特征在于，所述三元值为：
其中l代表对应的网络层，是量化过程中采用的阈值，为对应的缩放因子。
8.根据权利要求7所述的基于非对称三元权重量化的深度神经网络模型压缩装置，其特征在于，通过L2范式最小来降低量化过程所带来的损失，公式如下：
对于任意给定的阈值缩放因子为：
其中并且表示中元素的个数；
阈值因子为：
9.根据权利要求8所述的基于非对称三元权重量化的深度神经网络模型压缩装置，其特征在于，采用近似计算的方法获取阈值因子的近似值：
其中Ip＝{i|Wli≥0|i＝1,2…n}，In＝{i|Wli<0|i＝1,2,…n}。
10.根据权利要求6所述的基于非对称三元权重量化的深度神经网络模型压缩装置，其特征在于，采用2-bit编码的方式进行压缩存储，在压缩过程中，通过移位操作将16个三元值存储为一个32-bit定点整数。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于中国科学技术大学苏州研究院，未经中国科学技术大学苏州研究院许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201810674698.3/1.html，转载请声明来源钻瓜专利网。
