[发明专利]动态修剪深度神经网络权重和权重共享的压缩方法在审
| 申请号： | 201910427397.5 | 申请日： | 2019-05-22 |
| 公开（公告）号： | CN110210618A | 公开（公告）日： | 2019-09-06 |
| 发明（设计）人： | 裴文江;徐国现;夏亦犁 | 申请（专利权）人： | 东南大学 |
| 主分类号： | G06N3/08 | 分类号： | G06N3/08 |
| 代理公司： | 南京众联专利代理有限公司 32206 | 代理人： | 蒋昱 |
| 地址： | 210096 *** | 国省代码： | 江苏;32 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提出一种动态修剪深度神经网络权重和权重共享的压缩方法，它在非结构化剪枝的基础上，在保证精度稳定的情况下进一步降低深度神经网络模型的参数冗余。本发明先对深度神经网络模型进行动态修剪操作，主要分为剪枝和剪接两个部分，剪接可以最大程度保留网络中重要的权重连接，避免修剪过程中存在的误操作，另外为了提高模型修剪后的精度，在修剪过程中加入L1正则化；然后对修剪后的网络进一步K‑Means量化，使得权重共享。本发明提出的压缩方法，可以保证模型的精度没有损失的情况下，大大减少深度神经网络中的冗余参数，降低模型的存储内存。本发明在基于ImageNet数据集的AlexNet网络上进行本压缩方法实验，将原始网络压缩了52倍，并且没有造成精度的损失。 | ||
| 搜索关键词： | 权重 修剪 压缩 动态修剪 神经网络 剪接 神经网络模型 权重和 剪枝 共享 参数冗余 存储内存 非结构化 冗余参数 原始网络 网络 数据集 误操作 正则化 量化 保证 保留 | ||
【主权项】：
1.动态修剪深度神经网络权重和权重共享的压缩方法，其特征在于：所述的方法包括如下步骤：(1)将深度神经网络模型进行预训练；(2)根据权值重要性进行网络修剪和网络剪接；(3)将修剪和剪接后的模型参数进行一次更新；(4)迭代层重复步骤(2)和(3)，完成网络的权重修剪操作；(5)初始化K‑Means质心；(6)确定量化阈值；(7)微调量化后的网络，完成网络权重共享操作。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于东南大学，未经东南大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910427397.5/，转载请声明来源钻瓜专利网。
