[发明专利]基于知识迁移的卷积神经网络通道自选择压缩与加速方法在审
| 申请号： | 201910165951.7 | 申请日： | 2019-03-06 |
| 公开（公告）号： | CN109993302A | 公开（公告）日： | 2019-07-09 |
| 发明（设计）人： | 郭礼华;陈达武 | 申请（专利权）人： | 华南理工大学 |
| 主分类号： | G06N3/08 | 分类号： | G06N3/08;G06N3/04 |
| 代理公司： | 广州市华学知识产权代理有限公司 44245 | 代理人： | 冯炳辉 |
| 地址： | 510640 广*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 剪除 卷积神经网络 知识迁移 掩码 目标网络 迁移 随机初始化 网络 压缩 泛化性能 人工选择 神经网络 输出设置 通道设置 优化目标 原始输出 自动选择 目标卷 压缩比 卷积 收敛 保留 | ||
1.基于知识迁移的卷积神经网络通道自选择压缩与加速方法，其特征在于，包括以下步骤：
S1、从已经训练好的复杂卷积神经网络CN1中提取迁移指导知识；
S2、为目标卷积神经网络ON1的所有卷积层通道设置随机初始化的系数掩码；
S3、将目标卷积神经网络ON1的每一个通道的输出设置为通道原始输出与对应的系数掩码的乘积；
S4、在目标卷积神经网络ON1中提取与复杂卷积神经网络CN1一致的知识，用该知识与复杂卷积神经网络CN1的迁移指导知识构建损失函数，训练目标卷积神经网络ON1，并在训练过程中根据系数掩码进行通道软剪除，直至目标卷积神经网络ON1收敛后进行通道硬剪除，具体为：
S4.1、对目标卷积神经网络ON1和复杂卷积神经网络CN1输入相同数据，以最小化的损失函数为目标，更新目标卷积神经网络ON1的参数值和系数掩码；
S4.2、遍历目标卷积神经网络ON1中的系数掩码值，根据设定的剪除比例确定阈值，将绝对值低于阈值的系数掩码对应的卷积层通道参数值设置为零；
S4.3、重复以上步骤S4.1和S4.2，直至目标卷积神经网络ON1性能收敛；
S4.4、将参数值为零的卷积层通道及其对应的系数掩码从网络中剪除，达到压缩和加速效果。
2.根据权利要求1所述的基于知识迁移的卷积神经网络通道自选择压缩与加速方法，其特征在于：在步骤S1中，所述复杂卷积神经网络CN1仅用于提供迁移指导知识，其参数在训练目标卷积神经网络ON1的过程中不更新，所述迁移指导知识能够从网络不同位置提取，包括从全连接层提取神经元输出作为知识和从卷积层提取特征图作为知识。
3.根据权利要求1所述的基于知识迁移的卷积神经网络通道自选择压缩与加速方法，其特征在于：在步骤S2中，所述系数掩码的数量与目标卷积神经网络ON1中的卷积层通道数量保持一致。
4.根据权利要求1所述的基于知识迁移的卷积神经网络通道自选择压缩与加速方法，其特征在于：在步骤S3中，所述通道原始输出为张量格式，对应的系数掩码为标量格式，乘积为矩阵元素点乘输出。
5.根据权利要求1所述的基于知识迁移的卷积神经网络通道自选择压缩与加速方法，其特征在于：在步骤S4中，所述损失函数根据提取的知识不同而有不同的定义形式，其形式包括有交叉熵损失函数和欧式距离损失函数。
6.根据权利要求1所述的基于知识迁移的卷积神经网络通道自选择压缩与加速方法，其特征在于：在步骤S4中，所述通道软剪除即为步骤S4.2将绝对值低于阈值的系数掩码对应的卷积层通道参数值设置为零，所述通道硬剪除即为步骤S4.4将参数值为零的卷积层通道及其对应的系数掩码从网络中剪除。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于华南理工大学，未经华南理工大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201910165951.7/1.html，转载请声明来源钻瓜专利网。
