[发明专利]神经网络的训练方法、神经网络的训练装置和电子设备

说明书

公开了一种神经网络的训练方法、装置和电子设备。该神经网络的训练方法包括：通过第一神经网络从输入图像获得第一全局特征图和通过第二神经网络从输入图像获得第二全局特征图；获得第一神经网络的第一中间层输出的第一中间特征图和获得第二神经网络与第一中间层对应的第二中间层输出的第二中间特征图；通过第一注意力估计器从第一中间特征图和第一全局特征图获得第一知识提取向量；通过第二注意力估计器从第二中间特征图和第二全局特征图获得第二知识提取向量；基于第一知识提取向量和第二知识提取向量计算中间损失函数值；以及，基于中间损失函数值更新第二神经网络和第二注意力估计器的参数。这样，可以提高训练后的神经网络的性能。

技术领域

本申请涉及深度学习领域，且更为具体地，涉及一种神经网络的训练方法，神经网络的训练装置和电子设备。

背景技术

深度神经网络通过其在各种感知任务中的优异性能显著增强了人工智能的发展。但是，目前深度神经网络中的计算资源消耗问题限制了深度神经网络在诸如用于移动终端的嵌入式系统中的实现，从而期望开发网络压缩技术。

网络压缩技术可以加速诸如移动终端等设备上的用于实时应用的神经网络，并且，网络压缩技术可以包括诸如网络剪枝，量化，知识蒸馏和紧密网络设计等多个类型。

其中，通过知识蒸馏，深度网络压缩取得了显著的进步。在知识蒸馏中，通过使用预定损失函数来实现老师网络-学生网络的学习方式。

近年来，越来越多的研究聚焦于采用对抗训练来最小化来自老师网络和学生网络的输出的分布之间的差异。但是，这些对抗训练大多数强调结果导向的学习，同时忽略过程导向的学习，这导致整个网络中包括的丰富信息遭受损失。

因此，期望改进的用于知识蒸馏的神经网络的训练方法。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种神经网络的训练方法、神经网络的训练装置和电子设备，其通过注意力估计器从中间特征图和全局特征图来获得知识提取向量，并基于知识提取向量计算损失函数值以更新神经网络的参数，从而提高训练后的神经网络的性能。

根据本申请的一方面，提供了一种神经网络的训练方法，包括：通过第一神经网络从输入图像获得第一全局特征图和通过第二神经网络从所述输入图像获得第二全局特征图；获得所述第一神经网络的至少一个第一中间层输出的至少一个第一中间特征图，以及，获得所述第二神经网络与所述至少一个第一中间层对应的至少一个第二中间层输出的至少一个第二中间特征图；通过至少一个第一注意力估计器分别从所述至少一个第一中间特征图和所述第一全局特征图获得至少一个第一知识提取向量；通过至少一个第二注意力估计器分别从所述至少一个第二中间特征图和所述第二全局特征图获得至少一个第二知识提取向量；基于所述至少一个第一知识提取向量和所述至少一个第二知识提取向量计算中间损失函数值；以及，基于所述中间损失函数值更新所述第二神经网络和所述至少一个第二注意力估计器的参数。