[发明专利]神经网络模型的训练方法、装置和电子设备

说明书

本公开提供了一种神经网络模型的训练方法、训练装置、电子设备和计算机可读存储介质。所述神经网络模型的训练方法，包括：通过第一神经网络模型提取训练图像的第一网络特征图；通过待训练的第二神经网络模型提取所述训练图像的第二网络特征图；基于所述第一网络特征图和所述第二网络特征图，确定像素级的分类损失函数；基于所述像素级的分类损失函数，训练所述第二神经网络模型。通过将大型神经网络模型学习到的知识传递给小型神经网络模型，指导小型神经网络模型训练，使得训练后的小型神经网络模型在参数量、运动速度不变的情况下，实现预测精度的显著提升。

技术领域

本公开涉及图像处理领域，更具体地，本公开涉及一种用于图像语义分割的神经网络模型的训练方法、训练装置、电子设备和计算机可读存储介质。

背景技术

神经网络是一种大规模、多参数优化的工具。依靠大量的训练数据，神经网络能够学习出数据中难以总结的隐藏特征，从而完成多项复杂的任务，如图像语义分割、物体检测、动作追踪、自然语言翻译等。神经网络已被人工智能界广泛应用。

目前，在诸如图像语义分割等图像处理应用中，使用的神经网络模型(例如，ResNet101)通常具有数百层和数千通道，因而伴随着巨大的计算复杂度(例如，每秒数十亿次浮点运算(FLOPS)甚至更多)，使得此类神经网络模型往往依赖于高性能的服务器集群以满足处理精度和运行速度的要求。随着诸如智能手机、无人车等移动终端对于基于神经网络模型的图像处理应用的需求的不断增加，需要在移动终端配置匹配移动终端处理能力的相对小型的神经网络模型(例如，ResNet18)以实现与服务器端接近的处理精度。

发明内容

鉴于上述问题而提出了本公开。本公开提供了一种神经网络模型的训练方法、训练装置、电子设备和计算机可读存储介质。

根据本公开的一个方面，提供了一种用于图像语义分割的神经网络模型的训练方法，包括：通过第一神经网络模型提取训练图像的第一网络特征图；通过待训练的第二神经网络模型提取所述训练图像的第二网络特征图；基于所述第一网络特征图和所述第二网络特征图，确定像素级的分类损失函数；基于所述像素级的分类损失函数，训练第二神经网络模型。

此外，根据本公开一个方面的训练方法，其中，所述像素级的分类损失函数包括：所述第一神经网络模型和所述第二神经网络模型之间的相反像素级分类损失函数，所述第一神经网络模型和所述第二神经网络模型之间的像素级知识逼近损失函数，以及所述第二神经网络模型自身的像素级分类损失函数。

此外，根据本公开一个方面的训练方法，其中，所述确定像素级的分类损失函数包括：基于所述第一网络特征图生成第一网络注意力图，并且基于所述第二网络特征图生成第二网络注意力图；所述第一网络注意力图与所述第二网络注意力图相减，生成所述第一神经网络模型和所述第二神经网络模型之间的掩膜特征图；所述第二网络特征图与所述掩膜特征图相乘，生成掩膜后的第二网络特征图；所述第一网络特征图与所述掩膜后的第二网络特征图相加作为训练用特征图，以所述第一神经网络模型的逐像素的分类损失的相反数作为所述相反像素级分类损失函数。

此外，根据本公开一个方面的训练方法，其中，所述确定像素级的分类损失函数包括：利用所述第一网络特征图确定所述第一神经网络模型的逐像素的第一分类结果，利用所述第二网络特征图确定所述第二神经网络模型的逐像素的第二分类结果；以所述逐像素的第一分类结果和所述逐像素的第二分类结果的交叉熵作为所述像素级知识逼近损失函数，以所述逐像素的第二分类结果和所述训练图像的交叉熵作为所述自身的像素级分类损失函数；以所述自身的像素级分类损失函数与加权的所述像素级知识逼近损失函数的和作为所述像素级的分类损失函数。