[发明专利]步进式卷积神经网络剪枝压缩方法在审
| 申请号： | 201711021072.4 | 申请日： | 2017-10-27 |
| 公开（公告）号： | CN107784360A | 公开（公告）日： | 2018-03-09 |
| 发明（设计）人： | 牟星 | 申请（专利权）人： | 江苏环实科技有限公司 |
| 主分类号： | G06N3/08 | 分类号： | G06N3/08;G06N3/04 |
| 代理公司： | 苏州中合知识产权代理事务所(普通合伙)32266 | 代理人： | 龙涛 |
| 地址： | 210000 江苏省南京市*** | 国省代码： | 江苏;32 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种步进式卷积神经网络剪枝压缩方法，利用GPU计算卷积神经网络模型中每一层神经元的L1范数和方差；根据每一层神经元的L1范数和方差估计每一个神经元当前时刻的重要性；对于当前时刻不重要的神经元，将其强制设置为0，同时将相同位置的反向传播误差项也强制设置为0；卷积神经网络进行m次迭代训练后，重新计算并评估；重新评估过后的所有活动神经元参加下一轮的m次迭代；重复上述过程n次，使学习率随迭代步数进行阶梯式衰减，通过将卷积神经网络中当前时刻不重要的神经元进行剪枝操作，多次迭代后再进行判断，恢复当前时刻重要的神经元，剪枝当前时刻不重要的神经元，重复操作，达到对卷积神经网络进行有效压缩和快速计算的目的。 | ||
| 搜索关键词： | 步进 卷积 神经网络 剪枝 压缩 方法 | ||
【主权项】：
一种步进式卷积神经网络剪枝压缩方法，其特征在于，包括：利用GPU计算卷积神经网络模型中每一层神经元的L1范数和方差；根据每一层神经元的L1范数和方差估计每一个神经元当前时刻的重要性；对于满足公式的神经元，第一次将其强制设置为0，同时将相同位置的反向传播误差项也强制设置为0；卷积神经网络进行m次迭代训练后，重新计算当前神经元和第一次被置零的神经元的L1范数和方差；根据重新计算的L1范数和方差对神经元进行重新评估；若当前神经元满足公式则将其强制设置为0，同时将相同位置的反向传播误差项也强制设置为0；若第一次被置零的神经元满足公式则将其恢复成原来的数值同时激活相同位置反向传递的误差项；重新评估后的满足公式的神经元参加下一轮的m次迭代；重复上述过程n次，使学习率随迭代步数进行阶梯式衰减。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于江苏环实科技有限公司，未经江苏环实科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201711021072.4/，转载请声明来源钻瓜专利网。
- 上一篇：帐号验证方法及装置
- 下一篇：基于集成分类器的网络安全态势评估方法
