[发明专利]一种基于激活-熵权重剪枝的CNN模型压缩方法在审
申请号: | 201910355830.9 | 申请日: | 2019-04-29 |
公开(公告)号: | CN110097187A | 公开(公告)日: | 2019-08-06 |
发明(设计)人: | 毛莺池;王庆永;王绎超;戚荣志;黄倩;平萍 | 申请(专利权)人: | 河海大学 |
主分类号: | G06N3/08 | 分类号: | G06N3/08;G06N3/04;G06N3/06 |
代理公司: | 南京苏高专利商标事务所(普通合伙) 32204 | 代理人: | 梁耀文 |
地址: | 211100 *** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开了一种基于激活‑熵权重剪枝的CNN模型压缩方法包括基于激活‑熵权值的重要性评判和面向层的迭代剪枝两个阶段。在基于激活‑熵权值的重要性评判阶段:采用基于激活‑熵的权重评判方法,将神经元激活值和信息熵结合计算权值重要性得分,用以衡量权值重要性。在面向层的迭代剪枝阶段:采用逐层剪枝,根据权值重要性得分,遵循筛选‑裁剪‑微调步骤对每层神经元进行迭代剪枝,在保证模型精确度下有效压缩CNN模型体积。本发明采用基于激活‑熵权重剪枝方法,筛选重要性低的模型参数,从而减少CNN模型体积。同时对剪枝后模型进行微调,保证模型计算精度。 | ||
搜索关键词: | 剪枝 激活 权重 迭代 模型压缩 评判 面向层 微调 神经元 筛选 神经元激活 剪枝阶段 模型参数 模型计算 信息熵 裁剪 保证 压缩 衡量 | ||
【主权项】:
1.一种基于激活‑熵权重剪枝的CNN模型压缩方法,其特征在于,包括如下步骤:(1)在基于激活‑熵权值的重要性评判阶段:采用基于激活‑熵的权重评判方法,将神经元激活值和信息熵结合计算权值重要性得分,以评价权值重要性;(2)在面向层的迭代剪枝阶段:采用逐层剪枝,根据权值重要性的得分,遵循筛选‑裁剪‑微调步骤对每层神经元进行迭代剪枝,在保证模型精确度下有效压缩CNN模型。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于河海大学,未经河海大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201910355830.9/,转载请声明来源钻瓜专利网。