[发明专利]一种基于结构化剪枝的高效图像分类方法

说明书

本发明公开了一种基于结构化剪枝的高效图像分类方法，其结合基于增量正则化的空间剪枝方法，包括图像数据预处理、图像送入神经网络、网络模型剪枝及重训练、新图像类别预测及分类等步骤。本发明采用一种结构化剪枝的方法对原始网络模型中不重要的权重参数进行修剪，以减少网络模型在进行图像分类时产生的不必要计算量和内存消耗，达到简化图像分类器的效果，最后，利用稀疏后的网络模型对新的图像进行类别的预测与分类。本发明提出的简化方法相比原始网络在图像分类算法中的分类效率提升了近2倍，同时内存消耗减少约30％，并获得了更好的分类效果。

本发明涉及图像处理、计算机视觉领域，特别涉及一种基于结构化剪枝的高效图像分类方法。

背景技术

近年来，深度学习通过分层式结构的多层信息处理来进行非监督的特征学习和图像分类，模拟人脑学习和分析的能力，形成一个神经网络结构，从而像人脑一样对外界输入事物进行分析和理解，相对于通过浅层学习获得图像底层特征的传统图像分类方法，深度学习利用设定好的网络结构，完全从训练数据中学习图像的层级结构性特征，能够提取更加接近图像高级语义的抽象特征，因此在图像分类上的表现远远超过传统方法。

深度卷积神经网络(Convolutional Neural Network，CNN)在特征表示上具有极大的优越性，模型提取的特征随着网络深度的增加越来越抽象，越来越越能表现图像主题语义。所以，CNN通过对图像交替进行卷积核池化操作，逐渐提取图像的高层特征，再使用神经网络对特征分类，以此来实现对图像进行分类的功能，在图像分类领域表现出了极大的优势。然而，随着对图像分类性能需求的增加，基于深度卷积神经网络的图像分类算法成为高性能图像分类体系结构设计的基础。但CNN通常会产生大量的计算和存储消耗，特别是利用大量数据学习得到的大规模网络在进行图像分类时效率较低，同时会产生较大的内存消耗，占用过多的计算和存储资源，大大阻碍了CNN在图像分类算法中的应用。

发明内容

为了解决上述问题，本发明提供了一种基于结构化剪枝的高效图像分类方法，通过对网络模型中不重要的权重参数进行修剪，来减少网络模型在进行图像分类时产生的不必要的计算量和存储消耗，使得稀疏后的网络模型可以更加高效的对图像进行分类，并获得更好的分类效果，同时产生较小的内存消耗，从而有效节省计算和存储资源，使CNN可以更好地应用到图像分类算法中。

本发明的目的可以通过以下的技术方法实现：一种基于结构化剪枝的高效图像分类方法，具体包括以下步骤：

(1)获取图像的训练集和测试集，对训练集和测试集中的图像进行类别标注；

(2)对所有训练集和测试集中的图像进行预处理操作：

(3)采用预训练好的神经网络模型作为原始的图像分类器，然后将步骤(2)预处理后的图像批量送入神经网络，进行迭代训练，在训练的过程中对原始网络模型进行修剪，剪枝主要包含以下步骤：

(3.1)对于模型的各个卷积层，对四维权值张量W_N*C*H*W进行建模，其中N表示卷积核的个数，C表示卷积核的通道数，H、W分别表示卷积核的高和卷积核的宽；

(3.2)根据H和W的空间维度划分卷积核的权重组，将某一卷积层内所有卷积核的所有通道中相同空间位置的权重作为一个独立的权重组g；

(3.3)根据用户对模型设定的压缩或加速比例，确定网络模型各层所需设定的目标稀疏率，并对所有权重组设置统一的正则化上限target_reg，为每个独立的权重组分配正则化因子λ_g并将所有的λ_g初始化为0；

(3.4)为网络权重矩阵中的每个权重组设定稀疏的重要性标准，并根据该标准对各个权重组进行升序排序，得到各权重组的重要性排名；