[发明专利]神经网络模型的优化方法及装置、电子设备和存储介质

权利要求书

1.一种用于对图像进行特征提取和/或对象识别的神经网络模型的优化方法，其特征在于，包括：

从第一神经网络模型的输出层之前的全连接层中选取部分神经元，从第二神经网络模型的输出层之前的全连接层中选取部分神经元；

将图像分别输入所述第一神经网络模型和所述第二神经网络模型，基于从所述第一神经网络模型的输出层之前的全连接层中选取的部分神经元来拟合所述第一神经网络模型的输出，得到所述第一神经网络模型输出的针对所述图像的特征提取结果和/或对象识别结果，并基于从所述第二神经网络模型的输出层之前的全连接层中选取的部分神经元来拟合所述第二神经网络模型的输出，得到所述第二神经网络模型输出的针对所述图像的特征提取结果和/或对象识别结果；

确定所述第一神经网络模型输出的针对所述图像的特征提取结果和/或对象识别结果与期望输出两者之间的第一交叉熵；

确定所述第一神经网络模型输出的针对所述图像的特征提取结果和/或对象识别结果相对于所述第二神经网络模型输出的针对所述图像的特征提取结果和/或对象识别结果的第一相对熵；

基于所述第一交叉熵和所述第一相对熵，优化所述第一神经网络模型，以采用优化后的所述第一神经网络模型对图像进行特征提取和/或对象识别。

2.根据权利要求1所述的方法，其特征在于，从第一神经网络模型的输出层之前的全连接层中选取部分神经元，包括：

从第一神经网络模型的输出层之前的最后一个全连接层中选取部分神经元；

从第二神经网络模型的输出层之前的全连接层中选取部分神经元，包括：

从第二神经网络模型的输出层之前的最后一个全连接层中选取部分神经元。

3.根据权利要求1或2所述的方法，其特征在于，从第一神经网络模型的输出层之前的全连接层中选取部分神经元，包括：

针对第一全连接层中的每个神经元，分别在第一区间中生成一个随机数，其中，所述第一全连接层表示所述第一神经网络模型的输出层之前进行神经元选取的全连接层；

若所述第一全连接层中的第一神经元对应的随机数属于第二区间，则从所述第一全连接层中选取所述第一神经元，其中，所述第二区间为所述第一区间的子集，且所述第二区间不等于所述第一区间；

从第二神经网络模型的输出层之前的全连接层中选取部分神经元，包括：

针对第二全连接层中的每个神经元，分别在第三区间中生成一个随机数，其中，所述第二全连接层表示所述第二神经网络模型的输出层之前进行神经元选取的全连接层；

若所述第二全连接层中的第二神经元对应的随机数属于第四区间，则从所述第二全连接层中选取所述第二神经元，其中，所述第四区间为所述第三区间的子集，且所述第四区间不等于所述第三区间。

4.根据权利要求1或2所述的方法，其特征在于，基于所述第一交叉熵和所述第一相对熵，优化所述第一神经网络模型，包括：

确定所述第一相对熵与调整系数的乘积；

将所述乘积与所述第一交叉熵之和确定为所述第一神经网络模型对应的损失函数；

采用所述第一神经网络模型对应的损失函数优化所述第一神经网络模型。

5.根据权利要求1或2所述的方法，其特征在于，针对所述图像的特征提取结果和/或对象识别结果为分对数层输出的分对数，其中，分对数层指的是logits层，分对数层输出的分对数指的是logits层输出的logits。