[发明专利]一种神经网络训练方法及装置

说明书

本发明公开一种神经网络训练方法及装置，以提升学生网络的性能。方法包括：选取一个与学生网络实现相同功能的教师网络；基于匹配同一训练样本数据对应的第一输出数据的数据间相似性与第二输出数据的数据间相似性来迭代训练所述学生网络得到目标网络，以实现将所述教师网络的输出数据间相似性迁移到所述学生网络；其中：所述第一输出数据为所述训练样本数据输入教师网络后从教师网络的第一特定网络层输出的数据，所述第二输出数据为所述训练样本数据输入学生网络后从学生网络的第二特定网络层输出的数据。本发明技术方案根据教师网络的输出数据间相似性训练得到的学生网络性能更优。

技术领域

本发明涉及计算机视觉领域，特别涉及一种神经网络训练方法及装置。

背景技术

近几年来，深度神经网络在计算机视觉领域的各类应用中取得了巨大的成功，如图像分类、目标检测、图像分割等。但深度神经网络的模型往往包含大量的模型参数，计算量大、处理速度慢，无法在一些低功耗、低计算能力的设备(如嵌入式设备、集成设备等)上进行实时计算。

目前，为解决该问题，提出一些解决方案，例如，通过知识迁移方式将教师网络的知识(即教师网络，教师网络一般具有复杂的网络结构、准确性高、计算速度慢)迁移到学生网络中(即学生网络，学生网络的网络结构相对简单、准确性低、速度快)，以提高学生网络性能。此时的学生网络可应用到低功耗、地计算能力的设备中。

知识迁移是一种通用的对深度神经网络模型进行压缩以及加速的技术。目前知识迁移的方法主要包括三种，分别是2014年Hinton等人发表的论文“Distilling theknowledge in a neural network”中提出的Knowledge Distill(简称 KD)方法，2015年Romero等人发表的论文“Fitnets：Hints for thin deep nets”提出的FitNets，以及2016年Sergey发表的论文“Paying more attention to attention： Improving theperformance of convolutional neural networks via attention transfer”提出的Attention Transfer(简称AT)方法。

现有的知识迁移方式，利用教师网络中输出数据中的单个数据的信息来训练学生网络，训练得到的学生网络虽然在性能上有一定的提高，但仍然还有很大的提升空间。

相关术语解释：

知识迁移(Knowledge Transfer)：在深度神经网络中，知识迁移是指利用训练样本数据在教师网络的中间网络层或最终网络层的输出数据，辅助训练速度较快但性能较差的学生网络，从而将性能优良的教师网络迁移到学生网络上。

知识提取(Knowledge Distill)：在深度神经网络中，知识提取是指在分类问题中利用教师网络输出的平滑类别后验概率训练学生网络的技术。

教师网络(Teacher Network)：知识迁移过程中用以为学生网络提供更加准确的监督信息的高性能神经网络。

学生网络(Student Network)：计算速度快但性能较差的适合部署到对实时性要求较高的实际应用场景中的单个神经网络，学生网络相比于教师网络，具有更大的运算吞吐量和更少的模型参数。

发明内容

本发明实施例提供一种神经网络训练方法及装置，以更进一步提升学生网络的性能和准确性。

本发明实施例，一方面提供一种神经网络训练方法，该方法包括：

选取一个与学生网络实现相同功能的教师网络；

基于匹配同一训练样本数据对应的第一输出数据的数据间相似性与第二输出数据的数据间相似性来迭代训练所述学生网络得到目标网络，以实现将所述教师网络的输出数据间相似性迁移到所述学生网络；