[发明专利]基于知识迁移的卷积神经网络通道自选择压缩与加速方法

说明书

本发明公开了一种基于知识迁移的卷积神经网络通道自选择压缩与加速方法，包括步骤：S1、从已经训练好的复杂卷积神经网络CN1中提取迁移指导知识；S2、为目标卷积神经网络ON1的所有卷积层通道设置随机初始化的系数掩码；S3、将目标网络的每一个通道的输出设置为通道原始输出与对应的系数掩码的乘积；S4、在迁移指导知识的指导下优化目标网络，根据系数掩码进行通道软剪除，直至目标网络收敛后进行通道硬剪除。本发明方法可让网络自动选择应该剪除的通道，免去人工选择的操作，通过软剪除的操作和知识迁移的方法，保留了网络的表达容量以及提升了泛化性能，从而实现更高的压缩比和加速比。

技术领域

本发明涉及深度学习和计算机视觉算法的技术领域，尤其是指一种基于知识迁移的卷积神经网络通道自选择压缩与加速方法。

背景技术

近年来，人工智能的发展越来越受到社会各界关注，特别是计算机视觉等图像领域已吸引了广大学者和工业生产者的青睐。在人工智能浪潮的推动下，人脸识别、目标定位等视觉识别任务取得了显著的成果，而这些成果的取得，离不开深度卷积神经网络算法的创新和发展。然而，现有的深度卷积神经网络模型在存储量和计算量上都是非常庞大的，阻碍了该模型在移动手机等低资源配置的嵌入式设备上的应用。因此，一个很自然的想法就是在保证性能的前提下，对深度卷积神经网络模型进行压缩，以便减轻内存消耗和提升计算速度，并适合在轻量设备上应用。

在过去的一段时间里，不少学者已在模型压缩和加速领域提出了有效方法。这些方法可划分为网络剪枝，矩阵分解，权值量化，知识迁移等几大类，其中基于网络剪枝的方法因其可剪除网络大部分冗余参数或结构而成为一个热门研究方向，知识迁移方法则可提升轻量网络的泛化性能，因此也受到许多学者的广泛关注。然而大多数基于剪枝的方法都是在一个预先训练好的网络上操作的，一旦网络的参数或结构被剪除就不再恢复，因而网络的容量被大幅减小，导致最终的性能下降。对于知识迁移方法，目前的做法都假设目标网络的结构在训练过程中是不变的，没有考虑网络仍然存在参数冗余的可能性。目前已有相关专利将这两类方法结合，如专利CN106355248A提出的深度卷积神经网络训练方法，其首先对网络进行剪枝，然后在剪枝过的网络上进行迁移学习。但是该网络的剪枝是在已经训练好的网络上进行的，且剪枝后不再恢复，因此容量减小的问题仍然存在，因此研究如何更加科学地将两类方法进行有效结合，从而达到更高效的压缩和加速效果是很有必要的。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提出了一种基于知识迁移的卷积神经网络通道自选择压缩与加速方法，能够在卷积神经网络的训练过程，对网络进行通道软剪除，并可在训练过程中恢复被剪除的通道，从而保留了网络模型的表达容量。另一方面，由于引入了知识迁移辅助训练，使得最终的压缩网络能最大程度地保持泛化性能。

为实现上述目的，本发明所提供的技术方案为：基于知识迁移的卷积神经网络通道自选择压缩与加速方法，包括以下步骤：

S1、从已经训练好的复杂卷积神经网络CN1中提取迁移指导知识；

S2、为目标卷积神经网络ON1的所有卷积层通道设置随机初始化的系数掩码；

S3、将目标卷积神经网络ON1的每一个通道的输出设置为通道原始输出与对应的系数掩码的乘积；

S4、在目标卷积神经网络ON1中提取与复杂卷积神经网络CN1一致的知识，用该知识与复杂卷积神经网络CN1的迁移指导知识构建损失函数，训练目标卷积神经网络ON1，并在训练过程中根据系数掩码进行通道软剪除，直至目标卷积神经网络ON1收敛后进行通道硬剪除，具体为：

S4.1、对目标卷积神经网络ON1和复杂卷积神经网络CN1输入相同数据，以最小化的损失函数为目标，更新目标卷积神经网络ON1的参数值和系数掩码；

S4.2、遍历目标卷积神经网络ON1中的系数掩码值，根据设定的剪除比例确定阈值，将绝对值低于阈值的系数掩码对应的卷积层通道参数值设置为零；