[发明专利]一种神经网络模型的训练方法、电子设备及存储介质

说明书

本发明公开了一种神经网络模型的训练方法，包括：获取第一图像特征和第二图像特征；第一图像特征为图片A经过已经训练完成的模型所输出的图像特征，第二图像特征为图片A经过待训练模型所输出的图像特征；获取分类概率；分类概率为第二图像特征经过待训练模型的分类层所输出的分类概率；根据第一图像特征、第二图像特征及分类概率更新待训练模型的参数直到第二图像特征与所述第一图像特征相拟合。本发明还公开了一种电子设备及存储介质，本发明提供的神经网络模型的训练方法、电子设备及存储介质根据第一图像特征、第二图像特征及分类概率更新待训练模型的参数，训练得到一个与已经训练完成的大模型精度相当的小模型，保证了计算速度和计算精度。

技术领域

本发明涉及模型训练领域，尤其涉及一种神经网络模型的训练方法、电子设备及存储介质。

背景技术

卷积神经网络包含多个卷积层、激活函数层及下采样层等，其局部采样和权重共享的特性使得可以得到平移不变特征，提取的特征远超传统手工设计的特征，大幅提高了识别、检测、分割等机器视觉任务的精度，同时相比于传统神经网络参数更少，易于训练。

随着技术发展，卷积神经网络的趋势是模型深度越深、精度越高，精度的提升使得很多视觉任务可以走向实用，同时也带来了巨大的计算量，模型越深需要的计算量就越大，部署时需大量硬件设备，成本高昂，同时在一些实时性要求高的应用上也不能满足需求。

为了节省成本，提高设备效率，针对CNN模型目前已有一些模型压缩的方法，比如模型剪枝、模型量化、权重共享等。模型剪枝是指训练好一个模型后，统计其各层参数的值，将绝对值小于阈值的参数去掉，从而达到减少参数，减少模型大小，加快计算速度的目的；模型量化是指将训练好的模型中的参数量化到低位表示，降低参数精度，减少硬件计算耗时；权重共享是指将模型中的参数聚类，使用聚类中心代替相近的参数。这几类方法是基本思路都是去除一部分模型参数，或者将参数降低精度来达到加速的效果，虽然可以在一定程度上加快计算速度，但是在一个已有的大模型基础上减少参数个数，或利用硬件特性计算低比特的数据，这是量变而非质变的方法，压缩之后的精度和速度都受到影响。

发明内容

为了克服现有技术的不足，本发明的目的之一在于提供一种神经网络模型的训练方法，以解决现有模型压缩技术影响计算速度和计算精度的问题。

本发明的目的之二在于提供一种电子设备，以解决现有模型压缩技术影响计算速度和计算精度的问题。

本发明的目的之一采用如下技术方案实现：

一种神经网络模型的训练方法，包括：

获取第一图像特征和第二图像特征；其中，所述第一图像特征为图片A经过已经训练完成的模型所输出的图像特征，所述第二图像特征为图片A经过待训练模型所输出的图像特征；

获取分类概率；其中，所述分类概率为所述第二图像特征经过所述待训练模型的分类层所输出的分类概率；

根据所述第一图像特征、所述第二图像特征及所述分类概率更新所述待训练模型的参数直到所述第二图像特征与所述第一图像特征相拟合。

进一步地，所述获取分类概率之前还包括：

将所述待训练模型的分类层的参数替换为所述已经训练完成的模型的分类层的参数。

进一步地，所述根据所述第一图像特征、所述第二图像特征及所述分类概率更新所述待训练模型的参数直到所述第二图像特征与所述第一图像特征相拟合包括：

根据所述第一图像特征和所述第二图像特征计算第一损失函数；

根据所述分类概率计算第二损失函数；

根据所述第一损失函数和所述第二损失函数更新所述待训练模型的参数。