[发明专利]一种卷积神经网络的自蒸馏训练方法和可伸缩动态预测方法在审
| 申请号： | 201910725997.X | 申请日： | 2019-08-07 |
| 公开（公告）号： | CN110472730A | 公开（公告）日： | 2019-11-19 |
| 发明（设计）人： | 马恺声;张林峰 | 申请（专利权）人： | 交叉信息核心技术研究院(西安)有限公司 |
| 主分类号： | G06N3/04 | 分类号： | G06N3/04;G06N3/12;G06K9/62 |
| 代理公司： | 61200 西安通大专利代理有限责任公司 | 代理人： | 范巍<国际申请>=<国际公布>=<进入国 |
| 地址： | 710077 陕西省西安*** | 国省代码： | 陕西;61 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明一种卷积神经网络的自蒸馏训练方法，通过使卷积神经网络的尺寸缩小而不是使网络的尺寸扩大来显著增强卷积神经网络的性能。在网络自身内蒸馏知识时网络首先被划分为几个部分；然后，网络的较深部分中的知识被挤入浅层部分中。在不以响应时间为代价的情况下，自蒸馏大幅度地提高了卷积神经网络的性能，获得了平均2.65％的精度提升；从对数据集ResNeXt中0.61％的精度提升作为最小值到VGG19中4.07％的精度提升作为最大值。再配合注意力层对浅层分类器特征的强化提取，使得浅层分类器的精度显著提高，从而能够将一个有多个输出的卷积神经网络视为多个卷积神经网络，根据不同的需求，对每个浅层分类器的输出加以利用。 | ||
| 搜索关键词： | 卷积神经网络 浅层 精度提升 蒸馏 分类器 网络 分类器特征 尺寸扩大 尺寸缩小 输出 数据集 挤入 注意力 响应 配合 | ||
【主权项】：
1.一种卷积神经网络的自蒸馏训练方法，其特征在于，包括如下步骤，/n步骤1，根据目标卷积神经网络的深度和原始结构，以设定的深度区间将目标卷积神经网络的卷积层划分成n个部分，n为正整数且n≥2，其中第n层为最深层部分，其余层为浅层部分；/n步骤2，在每个浅层部分之后分别设置浅层分类器进行分类，最深层部分之后设置最深层分类器进行分类；浅层分类器包括依次设置的瓶颈层、完全连接层和softmax层进行分类，最深层分类器包括依次设置的完全连接层和softmax层进行分类；/n所述的浅层分类器的特定特征由如下的注意力模块得到，/nAttention Maps(Wconv,Wdeconv,F)＝σ(φ(ψ(F,Wconv)),Wdeconv)/n其中，ψ和φ分别表示用于下采样的卷积层的卷积函数和用于上采样的反卷积层的反卷积函数，F表示输入特征，σ表示Sigmoid函数，Wconv表示卷积层的权重，Wdeconv表示反卷积层的权重；/n步骤3，在训练时，最深层部分被视为教师模型，所有带有对应分类器的浅层部分都通过从最深层部分蒸馏而被训练为学生模型，从而实现卷积神经网络的自蒸馏训练。/n
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于交叉信息核心技术研究院(西安)有限公司，未经交叉信息核心技术研究院(西安)有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910725997.X/，转载请声明来源钻瓜专利网。
