[发明专利]卷积神经网络知识迁移配对优化方法、设备及存储介质

说明书

本发明公开了卷积神经网络知识迁移配对优化方法，包括步骤(1)初始化种群；(2)计算种群个体适应度值；(3)根据个体适应度值生成中间代；(4)对所述中间代进行交叉、变异处理得到下一代种群；(5)重复步骤(2)‑(4)，直至种群进化完成；(6)在进化完成后的种群中选择适应度值最高的预设个数不重复个体，对所述个体对应的学生网络进行完整训练，选择出最优学生网络。通过该方法可获得更加优化的教师网络与学生网络匹配方案，进而可获得性能更佳的学生网络，同时该方法可实现快速随机全局搜索，迭代效率高。

技术领域

本发明涉及深度学习领域，尤其是卷积神经网络知识迁移配对优化方法、设备及存储介质。

背景技术

深度学习由于其强大的表征能力,提取的特征相比传统方法手工构造的特征具有更强的鲁棒性,因此以卷积神经网络(CNN)为代表的深度学习技术被广泛应用于图像分类、目标检测、图像分割等多种传统计算机视觉任务中。

Hinton等在论文“Distilling the Knowledge in a Neural Network”中提出了一种知识蒸馏方法，将一个在大型训练数据集上训练得到的大型CNN作为教师网络，并以一个小型CNN作为学生网络，通过联合训练教师网络输出的概率分布向量和人工标注训练集，实现对学生网络的训练。该种方法可以克服小型CNN在大数据集上训练的困难性，训练完成后可在分类任务上取得接近或超过教师网络的测试结果。该方法可被视为一种知识迁移手段，将知识从教师网络通过训练迁移到学生网络，迁移完成后，设计目标为小且快灵的学生网络代替大而笨重的教师网络进行任务运用，大大提高了深度学习在边缘侧平台部署的便利性。

相对于Hinton等仅仅是在CNN的输出层上对教师网络和学生网络进行知识传递，Romero等提出了一种新的名为FitNet的方法，即通过在教师网络和学生网络的中间层中进行特征匹配，从而提供了一种可靠的监督信号，对具有大深度结构的学生网络的训练进行有效的指导，从而克服了Hinton方法的弱点，使得大深度网络的知识蒸馏成为可能。

由于现代CNN结构层次非常深，往往具有几十层的中间层，因此将教师网络与学生网络进行基于中间层的匹配，存在非常多的配对选择可能。选择不同的配对方案，对学生网络的训练效果有着重要影响。事实上，教师网络与学生网络的中间层匹配存在一个最优化问题，即选择一个最优配对方案下的教师网络中间层与学生网络中间层进行配对，在该配对下进行训练所得到的学生网络，优于其他配对方案下以同样方式训练得到的学生网络。现有技术没有明确指定教师网络与学生网络之间的指导层次，即没有现有方法指导由教师网络的哪个中间层，与学生网络的哪个中间层匹配可以得到最优配对结果。

发明内容

针对现有技术的上述问题，本发明针对教师网络与学生网络间的指导层次选择问题，提出了卷积神经网络知识迁移配对优化方法。

本发明能够以多种方式实现，包括方法、系统、设备、装置或计算机可读介质，在下面论述本发明的几个实施例。

作为卷积神经网络知识迁移配对优化方法，本发明的一个实施例包括步骤：

(1)初始化种群；

(2)计算种群个体适应度值；

(3)根据个体适应度值生成中间代；

(4)对所述中间代进行交叉、变异处理得到下一代种群；

(5)重复步骤(2)-(4)，直至种群进化完成；

(6)在进化完成后的种群中选择适应度值最高的预设个数不重复个体，对所述个体对应的学生网络进行完整训练，选择出最优学生网络。

进一步地，所述种群个体为教师网络与学生网络的中间层配对方案编码。