[发明专利]训练神经网络的方法、装置和系统及存储指令的存储介质

说明书

本发明公开一种训练神经网络的方法、装置和系统及存储指令的存储介质。在训练神经网络的方法中，神经网络包括第一神经网络和第二神经网络，第一神经网络的训练还未完成且第二神经网络的训练还未开始，对于当前的第一神经网络和当前的第二神经网络，该方法包括：将样本图像经由当前的第一神经网络得到第一输出，将样本图像经由当前的第二神经网络得到第二输出；以及，根据第一损失函数值更新当前的第一神经网络，根据第二损失函数值更新当前的第二神经网络，其中，第一损失函数值根据第一输出获得，第二损失函数值根据第一输出和第二输出获得。根据本公开，可改善第二神经网络的性能及减少第一神经网络和第二神经网络的整体训练时间。

技术领域

本发明涉及图像处理，尤其涉及例如训练神经网络的方法、装置和系统及存储指令的存储介质。

背景技术

当前，指导学习算法(例如，知识蒸馏算法)被广泛地用于深度学习，以使得学习能力较弱的轻量级神经网络(通常被称为“学生神经网络”)能够从学习能力较强的深度神经网络(通常被称为“教师神经网络”)学习更多的经验，从而改善学生神经网络的性能。通常，在训练神经网络的过程中，教师神经网络将事先被训练好，之后学生神经网络再模仿学习教师神经网络以完成相应的训练操作。

非专利文献“Distilling Detectors with Fine-grained Feature Imitation”(Tao Wang,Li Yuan,Xiaopeng Zhang,Jiashi Feng；CVPR 2019)中公开了一种示例性的学生神经网络模仿学习教师神经网络的方法。在该示例性的方法中，基于将样本图像经由已经训练好的教师神经网络而得到的特征来进行学生神经网络模仿学习教师神经网络的操作。具体操作为：1)生成模仿区域的操作：迭代地计算样本图像的标签中的物体区域与预先设置的锚点框区域的交并比(Intersection-over-Union,IoU)，组合交并比大于因子F(也即，过滤器阈值)的锚点框区域从而生成模仿区域；2)训练学生神经网络的操作：基于将样本图像经由已经训练好的教师神经网络而得到的特征中的所述模仿区域内的特征来指导学生神经网络的更新，以使得学生神经网络在所述模仿区域内的特征分布更接近于教师神经网络的特征分布。

如上所述可知，在通常的指导学习方法中，需要事先完成教师神经网络的训练，之后再利用训练好的教师神经网络来指导学生神经网络的训练，这将使得需要大量的训练时间才能完成教师神经网络和学生神经网络的训练。此外，由于教师神经网络已被事先训练好，因此使得学生神经网络无法很好地学习到训练教师神经网络的过程中的相关经验，从而影响学生神经网络的性能。

发明内容

鉴于上面的背景技术中的记载，本公开旨在解决上述问题中的至少一点。

根据本公开的一个方面，提供一种训练神经网络的方法，所述神经网络包括第一神经网络和第二神经网络，其特征在于，所述第一神经网络的训练还未完成且所述第二神经网络的训练还未开始，其中，对于当前的第一神经网络和当前的第二神经网络，所述方法包括：输出步骤，将样本图像经由所述当前的第一神经网络得到第一输出，将所述样本图像经由所述当前的第二神经网络得到第二输出；以及更新步骤，根据第一损失函数值更新所述当前的第一神经网络，根据第二损失函数值更新所述当前的第二神经网络，其中，所述第一损失函数值根据所述第一输出获得，所述第二损失函数值根据所述第一输出和所述第二输出获得。

根据本公开的另一个方面，提供一种训练神经网络的装置，所述神经网络包括第一神经网络和第二神经网络，其特征在于，所述第一神经网络的训练还未完成且所述第二神经网络的训练还未开始，其中，对于当前的第一神经网络和当前的第二神经网络，所述装置包括：输出单元，将样本图像经由所述当前的第一神经网络得到第一输出，将所述样本图像经由所述当前的第二神经网络得到第二输出；以及更新单元，根据第一损失函数值更新所述当前的第一神经网络，根据第二损失函数值更新所述当前的第二神经网络，其中，所述第一损失函数值根据所述第一输出获得，所述第二损失函数值根据所述第一输出和所述第二输出获得。