[发明专利]网络训练方法、数据识别方法、装置、设备和介质

说明书

本申请涉及一种网络训练方法、数据识别方法、装置、设备和介质。该方法包括：将训练数据分别输入待训练学生网络和教师网络，得到所述待训练学生网络的多个学生网络中间层的输出特征及与所述学生网络中间层对应的教师网络中间层的输出特征；其中，所述训练数据包括图像数据、语音数据和文本数据中的至少一种；将每个所述学生网络中间层的输出特征和对应的所述教师网络中间层的输出特征输入循环神经网络，确定目标损失值；根据所述目标损失值，更新所述待训练学生网络的参数，得到学生网络。采用本方法能够提高学生网络的精度。

技术领域

本申请涉及计算机技术领域，特别是涉及一种网络训练方法、数据识别方法、装置、设备和介质。

背景技术

随着科技的发展，神经网络被广泛的应用在人们的学习和生活中，使得现代人类全面进入人工智能时代。深度学习算法作为神经网络的主要算法之一也已经广泛地应用于图像处理和计算机视觉领域中，但是基于深度学习算法的神经网络模型普遍体积较大，计算复杂度高，随着人们对神经网络的深入研究，模型压缩也成为了现在深度学习领域的一个热点方向。

知识蒸馏是模型压缩中的一个十分常用的算法。知识蒸馏的核心思想是训练一个体积较大的教师网络和一个相对轻量化的学生网络。然后利用实验效果更好的教师网络监督学生网络的训练，从而提升学生网络的实验效果，最终使用轻量化的网络來进行任务部署，达到使用效果更好的学生网络來应用的目的，例如使用学生网络进行图像识别、语音识别和文本识别等。在现有的知识蒸馏算法中，通常使用教师网络和学生网络每层的特征图差的L2模作为损失函数，来训练学生网络。

然而，传统的使用教师网络和学生网络每层的特征图差的L2模作为损失函数所训练的学生网络，使得学生网络的精度不高，导致和教师网络的处理结果差异较大，使得图像数据、语音数据或者文本数据的处理精度低。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高学生网络精度的网络训练方法、装置、计算机设备和存储介质。

第一方面，本申请实施例提供一种网络训练方法，所述方法包括：

将训练数据分别输入待训练学生网络和教师网络，得到所述待训练学生网络的多个学生网络中间层的输出特征及与所述学生网络中间层对应的教师网络中间层的输出特征；其中，所述训练数据包括图像数据、语音数据和文本数据中的至少一种；

将每个所述学生网络中间层的输出特征和对应的所述教师网络中间层的输出特征输入循环神经网络，确定目标损失值；

根据所述目标损失值，更新所述待训练学生网络的参数，得到学生网络。

在其中一个实施例中，所述将每个所述学生网络中间层的输出特征和对应的所述教师网络中间层的输出特征输入循环神经网络，确定目标损失值，包括：

将每个所述学生网络中间层的输出特征，输入所述循环神经网络中与所述学生网络中间层对应的循环单元，以及将每个所述教师网络中间层的输出特征，输入所述循环神经网络中与所述教师网络中间层对应的所述循环单元；

根据所述学生网络输出的所述训练数据对应的预测值，将所述学生网络对应的第一损失值确定为所述目标损失值。

在其中一个实施例中，所述将每个所述学生网络中间层的输出特征和对应的所述教师网络中间层的输出特征输入循环神经网络，确定目标损失值，包括：

将每个所述学生网络中间层的输出特征，输入所述循环神经网络中与所述学生网络中间层对应的循环单元，以及将每个所述教师网络中间层的输出特征，输入所述循环神经网络中与所述教师网络中间层对应的所述循环单元；

根据所述循环神经网络输出的所述训练数据对应的预测值，将所述循环神经网络对应的第二损失值确定为所述目标损失值。