[发明专利]基于知识迁移的卷积神经网络通道自选择压缩与加速方法在审
| 申请号： | 201910165951.7 | 申请日： | 2019-03-06 |
| 公开（公告）号： | CN109993302A | 公开（公告）日： | 2019-07-09 |
| 发明（设计）人： | 郭礼华;陈达武 | 申请（专利权）人： | 华南理工大学 |
| 主分类号： | G06N3/08 | 分类号： | G06N3/08;G06N3/04 |
| 代理公司： | 广州市华学知识产权代理有限公司 44245 | 代理人： | 冯炳辉 |
| 地址： | 510640 广*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种基于知识迁移的卷积神经网络通道自选择压缩与加速方法，包括步骤：S1、从已经训练好的复杂卷积神经网络CN1中提取迁移指导知识；S2、为目标卷积神经网络ON1的所有卷积层通道设置随机初始化的系数掩码；S3、将目标网络的每一个通道的输出设置为通道原始输出与对应的系数掩码的乘积；S4、在迁移指导知识的指导下优化目标网络，根据系数掩码进行通道软剪除，直至目标网络收敛后进行通道硬剪除。本发明方法可让网络自动选择应该剪除的通道，免去人工选择的操作，通过软剪除的操作和知识迁移的方法，保留了网络的表达容量以及提升了泛化性能，从而实现更高的压缩比和加速比。 | ||
| 搜索关键词： | 剪除 卷积神经网络 知识迁移 掩码 目标网络 迁移 随机初始化 网络 压缩 泛化性能 人工选择 神经网络 输出设置 通道设置 优化目标 原始输出 自动选择 目标卷 压缩比 卷积 收敛 保留 | ||
【主权项】：
1.基于知识迁移的卷积神经网络通道自选择压缩与加速方法，其特征在于，包括以下步骤：S1、从已经训练好的复杂卷积神经网络CN1中提取迁移指导知识；S2、为目标卷积神经网络ON1的所有卷积层通道设置随机初始化的系数掩码；S3、将目标卷积神经网络ON1的每一个通道的输出设置为通道原始输出与对应的系数掩码的乘积；S4、在目标卷积神经网络ON1中提取与复杂卷积神经网络CN1一致的知识，用该知识与复杂卷积神经网络CN1的迁移指导知识构建损失函数，训练目标卷积神经网络ON1，并在训练过程中根据系数掩码进行通道软剪除，直至目标卷积神经网络ON1收敛后进行通道硬剪除，具体为：S4.1、对目标卷积神经网络ON1和复杂卷积神经网络CN1输入相同数据，以最小化的损失函数为目标，更新目标卷积神经网络ON1的参数值和系数掩码；S4.2、遍历目标卷积神经网络ON1中的系数掩码值，根据设定的剪除比例确定阈值，将绝对值低于阈值的系数掩码对应的卷积层通道参数值设置为零；S4.3、重复以上步骤S4.1和S4.2，直至目标卷积神经网络ON1性能收敛；S4.4、将参数值为零的卷积层通道及其对应的系数掩码从网络中剪除，达到压缩和加速效果。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于华南理工大学，未经华南理工大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910165951.7/，转载请声明来源钻瓜专利网。
