[发明专利]神经网络训练方法、装置、计算机设备及存储介质

说明书

本公开提供了一种神经网络训练方法、装置、计算机设备及存储介质，其中，该方法包括：获取训练样本集中当前待处理的样本图像；通过第一神经网络提取样本图像的第一表征向量，并通过第二神经网络提取样本图像的第二表征向量；第二神经网络为基于第一神经网络确定的用于对第一神经网络进行蒸馏训练的网络；计算第一表征向量和目标表征向量之间的第一相似度，并计算第二表征向量和目标表征向量之间的第二相似度；根据第一相似度和第二相似度调整第一神经网络的网络参数，得到训练后的第一神经网络。本公开实施例通过样本图像之间的相似度来对第一神经网络进行自监督学习的方式，可以提高第一神经网络模型的处理精度，以学习高质量更高的表征向量。

技术领域

本公开涉及人工智能技术领域，具体而言，涉及一种神经网络训练方法、装置、计算机设备及存储介质。

背景技术

监督学习已经在深度学习领域取得了非常大的成功。然而监督学习常常需要大量的人工标签样本，一般来说人工标签是非常难获得的，并且标签的质量也难以保证。

自监督学习旨在无人工标签的情况下，直接根据数据本身的结构来进行表征学习。然而，当前大部分的自监督学习框架都是基于实力判别来进行的，即将数据库里的每一张图片看作一个类别，然后对图片进行分类。因此，现有的自监督学习方法存在将相似图片分到不同类别的问题。此时，对网络模型进行训练，会降低网络模型学习到的表征质量，从而降低网络模型的处理精度。

发明内容

本公开实施例至少提供一种神经网络训练方法、装置、计算机设备及存储介质。

第一方面，本公开实施例提供了一种神经网络训练方法，包括：获取训练样本集中当前待处理的样本图像；通过第一神经网络提取所述样本图像的第一表征向量，并通过第二神经网络提取所述样本图像的第二表征向量；所述第二神经网络为基于所述第一神经网络确定的用于对所述第一神经网络进行蒸馏训练的网络；计算所述第一表征向量和目标表征向量之间的第一相似度，并计算所述第二表征向量和所述目标表征向量之间的第二相似度；所述目标表征向量为所述第二神经网络对所述训练样本集中的样本图像进行特征提取之后得到的特征向量；根据所述第一相似度和所述第二相似度调整所述第一神经网络的网络参数，得到训练后的第一神经网络。

在本公开实施例中，首先，通过第一神经网络和第二神经网络分别提取样本图像的表征向量，之后，计算确定出的表征向量和目标表征向量之间的相似度，从而根据该相似度来调整第一神经网络的网络参数。通过上述描述可知，本公开技术方案，通过样本图像之间的相似度来对第一神经网络进行自监督学习的方式，可以提高第一神经网络模型的处理精度，以学习高质量更高的表征向量。

一种可选的实施方式中，所述通过第一神经网络提取所述样本图像的第一表征向量，以及通过第二神经网络提取所述样本图像的第二表征向量，包括：对所述样本图像进行图像增强处理，得到增强图像；通过第一神经网络提取所述增强图像的第一表征向量，以及通过第二神经网络提取所述增强图像的第二表征向量。

上述实施方式中，针对样本图像进行图像增强处理之后的增强图像，通过计算增强图像之间的相似度来对第一神经网络进行自监督学习的方式，可以提高第一神经网络模型的处理精度，以学习高质量更高的表征向量。

一种可选的实施方式中，所述通过第一神经网络提取所述增强图像的第一表征向量，以及通过第二神经网络提取所述增强图像的第二表征向量，包括：通过所述第一神经网络提取所述增强图像中第一增强图像的表征向量，得到第一表征向量；通过所述第二神经网络提取所述增强图像中第二增强图像的表征向量，得到第二表征向量；所述第一增强图像对应的增强强度大于所述第二增强图像对应的增强强度。

上述实施方式中，在对第一神经网络进行训练的过程中，是将第二神经网络输出的第二相似度，作为第一神经网络的目标，以对第一神经网络进行训练，从而实现第一神经网络的自监督学习。因此，第二相似度的精准度将影响第一神经网络的网络性能。此时，可以通过给第二神经网络比较弱的图像增强来提升相似度指导的准确性，以提高第一神经网络的网络性能。