[发明专利]一种用于深度卷积神经网络模型压缩的方法在审
申请号: | 201710038007.6 | 申请日: | 2017-01-18 |
公开(公告)号: | CN108322221A | 公开(公告)日: | 2018-07-24 |
发明(设计)人: | 肖学锋;金连文;杨亚锋;常天海;刘汝杰;孙俊 | 申请(专利权)人: | 华南理工大学;富士通株式会社 |
主分类号: | H03M7/40 | 分类号: | H03M7/40;H03M7/30;G06N3/08;G06K9/62 |
代理公司: | 广东广信君达律师事务所 44329 | 代理人: | 杨晓松 |
地址: | 510640 广东省广*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开了一种用于深度卷积神经网络模型压缩的方法,包括步骤:对于已经训练完成的深度卷积神经网络模型进行再训练,去除其中冗余的网络连接;对卷积神经网络的各网络层的剩余连接的权值进行编码;对卷积神经网络的各网络层的剩余连接的权值进行k‑means聚类;对聚类结果进行微调;保存微调后的结果,并对保存的文件进行哈夫曼编码。本发明通过动态阈值的设定,能够较平缓地去除网络中的连接,使网络能够从连接被去除的不利情况中恢复,从而能够达到相同准确率损失的情况下,压缩倍数较高的效果;在剩余连接编码过程中,使用的改进的CSR编码方法可以减少表示索引值所需要的比特位数,从而能够减小压缩文件的大小,提高压缩率。 | ||
搜索关键词: | 卷积神经网络 去除 模型压缩 网络层 微调 哈夫曼编码 比特位数 编码过程 聚类结果 网络连接 压缩文件 压缩率 保存 冗余 准确率 减小 聚类 索引 网络 压缩 改进 恢复 | ||
【主权项】:
1.一种用于深度卷积神经网络模型压缩的方法,其特征在于,包括步骤S1:对于已经训练完成的深度卷积神经网络模型进行再训练,去除其中冗余的网络连接;S2:对卷积神经网络的各网络层的剩余连接的权值进行编码;S3:对卷积神经网络的各网络层的剩余连接的权值进行k‑means聚类;S4:对聚类结果进行微调;S5:保存微调后的结果,并对保存的文件进行哈夫曼编码。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华南理工大学;富士通株式会社,未经华南理工大学;富士通株式会社许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201710038007.6/,转载请声明来源钻瓜专利网。
- 上一篇:编解码方法、装置及编解码设备
- 下一篇:一种生成及使用分布式唯一ID的方法