[发明专利]通道全局排序指导剪枝和量化联合的神经网络压缩方法

说明书

本发明公开了一种通道全局排序指导剪枝和量化联合的神经网络压缩方法，包括下述步骤：获取训练样本集和测试样本集；构建图像分类卷积神经网络模型；对图像分类卷积神经网络模型进行迭代训练；计算训练好的图像分类卷积神经网络模型中所有通道的重要性得分并获取剪枝量化后的图像分类卷积神经网络模型；更新剪枝量化后的图像分类卷积神经网络模型；获取图像分类卷积神经网络的压缩结果。本发明在通道重要性的全局排序指导下对图像分类卷积神经网络模型联合进行剪枝和量化，解决了现有技术中存在的仅在同一层内比较通道重要性且剪枝和量化互不相关导致在指定压缩比下压缩后网络相比于未压缩网络的分类准确性的下降值大的问题。

技术领域

本发明属于深度学习领域，涉及一种卷积神经网络压缩方法，具体涉及一种通道全局排序指导剪枝和量化联合的神经网络压缩方法，可用于在计算、存储资源受限的边缘设备上部署图像分类卷积神经网络并完成图像分类任务。

背景技术

卷积神经网络目前已经在视频、图像和语音等信息的处理过程中取得了巨大的成功，这得益于它越来越深和越来越宽的模型架构，但由此也产生了网络推理过程的计算复杂度高和内存空间占用大的问题，使得在计算、存储资源受限的边缘设备上部署卷积神经网络受到限制，尤其是对于移动平台、智能化嵌入式设备、现场可编程逻辑门阵列等需要实时推理完成信息处理的硬件，进而导致卷积神经网络在许多场景，如森林火灾救援、人脸识别等中的应用受到阻碍。

因此，既能降低计算复杂度、减少内存占用空间，又能保持卷积神经网络性能的卷积神经网络压缩方法被提出，具体包括剪枝、量化、低秩分解、知识蒸馏等，这些方法可以单独使用，也可以联合使用。其中，剪枝和量化的应用更为广泛。剪枝是删除卷积神经网络中卷积层的部分通道；量化是将权值参数或激活层输出值的浮点数形式转换为比特位表示的整数形式，并且是硬件部署前必不可少的操作。衡量图像分类卷积神经网络压缩方法的标准是在指定压缩比下压缩后网络相比于未压缩网络的分类准确性的下降值大小，下降值越小，则压缩后网络的性能越好。

Yu Po-Hsiang等人在2020年发表的论文“Joint PruningQuantization forExtremely Sparse Neural Networks”(arXiv preprint arXiv:2010.01892)中，公开了一种剪枝和量化联合的图像分类卷积神经网络模型压缩方法，该方法首先提出一个泰勒评分来评价二维卷积层的所有通道在同一层内的通道重要性，然后根据每个二维卷积层的每个通道的泰勒评分，对泰勒评分低于预设阈值的通道进行删除，在完成剪枝后，手动指定权重和激活层的量化位宽，通过微调得到压缩后的图像分类卷积神经网络模型压缩方法。但是，该方法仍然存在的不足之处是，二维卷积层的通道重要性的比较范围只是在同一层内，而且剪枝和量化本质上是互不相关的，并不能确保最大化各自的优势，因此导致在指定压缩比下压缩后网络相比于未压缩网络的分类准确性的下降值大。

发明内容

本发明的目的在于针对上述现有技术的不足，提出一种通道全局排序指导剪枝和量化联合的神经网络压缩方法，用于解决现有技术中存在的仅在同一二维卷积层内比较通道重要性且剪枝和量化本质上互不相关导致在指定压缩比下压缩后网络相比于未压缩网络的分类准确性的下降值大的问题。

为实现上述目的，本发明采取的技术方案包括如下步骤：

(1)获取训练样本集和测试样本集：

获取包括M个目标类别且每个类别包含N幅RGB图像的数据集X，并对每幅RGB图像中的图像类别进行标注，然后随机选取数据集X中每类别包含的N₀幅图像，并将所选取的共MN₀幅RGB图像及其标签组成训练样本集X_train，将剩余的M(N-N₀)幅RGB图像及其标签组成测试样本集X_test，其中M≥10，N≥6000，N₀≥0.8N；

(2)构建图像分类卷积神经网络模型O并对其进行迭代训练：