[发明专利]神经网络模型的压缩方法及压缩装置、存储介质、设备

说明书

本发明公开了一种基于迁移学习的卷积神经网络模型压缩方法。该压缩方法包括：获取预训练好的迁移学习模型；对迁移学习模型的各个卷积层按照预定压缩比例进行压缩处理，以获得第一目标网络模型；利用目标图像数据集对第一目标网络模型进行迁移学习，以获得第一压缩目标模型；根据预定规则选择第一压缩目标模型中的部分卷积层进行压缩处理，以获得第二目标网络模型；利用目标图像数据集对第二目标网络模型进行迁移学习，以获得第二压缩目标模型。实现了迁移学习和卷积压缩的优势互补，在保证较高正确率的前提下，降低模型复杂度，提高运算速度，并针对部分卷积层进行压缩处理，可以进一步降低模型复杂度，避免模型正确率骤降。

技术领域

本发明属于信息技术领域，具体地讲，涉及基于迁移学习的卷积神经网络模型的压缩方法及压缩装置、计算机可读存储介质、计算机设备。

背景技术

迁移学习的基本原理是将一个问题上训练好的模型通过简单的调整使其适用于一个新的问题。由于大型网络很复杂，训练一个复杂的卷积神经网络需要非常多的标注数据，而且需要比较长的时间。迁移学习就是为了解决大量标注数据和训练时间问题的一种变通处理方式。在数据量足够的情况下，迁移学习的效果不如完全重新训练。但是迁移学习所需要的训练时间和训练样本数要远远小于训练完整的模型。而且可以得到不错的准确率。

迁移学习的其中一种普遍的用法，是用一个预训练好的图像分类模型，转化成目标检测模型、或者关键点回归模型，这么做的原因在于图像分类模型可以用图像分类的数据集来训练，我们比较容易获得大量的图像分类数据集，比如我们熟悉的Imagenet，而目标检测数据集的图片数量则少很多，关键点回归数据集的样本数量更少，如果不通过迁移学习，直接用这些少量的图片进行训练，效果就没法达到想要的精度，还有可能造成过拟合的现象。因此，用Imagenet预训练的模型来进行迁移学习，对模型的泛华能力和精度的提升都有重要意义。但是现有迁移学习方法的缺点是只能提供和源数据训练的神经网络同样的计算复杂度的模型。

卷积神经网络模型的压缩算法是降低模型复杂度的常用算法，但是目前的压缩算法的存在两个缺点，一是目标数据不足时，训练出来的模型正确率低，二是通常针对整体网络进行压缩，会造成部分卷积层过度压缩，甚至部分卷积层完全被压缩完，这样会造成网络模型不完整，正确率急剧下降。

因此，如何解决上述迁移学习和卷积压缩算法中的技术问题是本领域技术人员急需解决的。

发明内容

(一)本发明所要解决的技术问题

本发明解决的技术问题是：如何实现卷积压缩和迁移学习的有效结合，以及实现对网络模型有针对性地压缩。

(二)本发明所采用的技术方案

一种基于迁移学习的卷积神经网络模型的压缩方法，所述压缩方法包括：

获取预训练好的迁移学习模型；

对所述迁移学习模型的各个卷积层按照预定压缩比例进行压缩处理，以获得第一目标网络模型；

利用目标图像数据集对所述第一目标网络模型进行迁移学习，以获得第一压缩目标模型；

对所述第一压缩目标模型中的部分卷积层进行压缩处理，以获得第二目标网络模型；

利用所述目标图像数据集对所述第二目标网络模型进行迁移学习，以获得第二压缩目标模型。

优选地，在利用所述目标图像数据集对所述第一目标网络模型进行迁移学习，以获得第一压缩目标模型之后，所述压缩方法还包括：

判断所述第一压缩目标模型的整体压缩率是否达到第一预定值；

若否，则对所述第一压缩目标模型的各个卷积层按照预定压缩比例进行压缩处理，以获得更新后的第一目标网络模型；