[发明专利]一种基于任意形状卷积核的图像分类网络压缩方法

说明书

本发明涉及一种基于任意形状卷积核的图像分类网络压缩方法，属于图像处理与识别技术领域。采用任意形状卷积核替换图像分类网络中的常规卷积核，利用梯度下降算法在数据集上进行网络训练，收敛后的网络模型即可用于图像分类；通过将常规卷积计算过程拆解为1×1点卷积，去除掉拆解过程中的部分运算以实现具有任意形状的卷积核，从而能够有效地消除卷积核内部的冗余参数，将其应用于图像分类任务，能够在保证分类准确率的同时进一步提高网络模型的压缩率。

技术领域

本发明属于图像处理与识别技术领域，尤其涉及一种基于任意形状卷积核的图像分类网络压缩方法。

背景技术

图像分类与识别是机器视觉领域中的一个重要课题，早期的图像识别方法主要依赖人工提取特征，其准确性较低且对不同场景的适用性有限。随着深度学习方法的出现，卷积神经网络在图像识别、目标检测等机器视觉领域取得了巨大的成就，深层神经网络能够有效地提取到图像中的高级语义特征，已经能够达到超越人类的识别能力。

但是在网络性能提高的同时，网络结构也越来越复杂，对计算设备存储能力和运算能力的要求也越来越高，限制了其在资源受限的移动设备中的应用和发展。大规模的神经网络模型内部往往具有较大的冗余性，并不是所有的参数都对网络性能起到有效作用，过多的参数反而会导致网络收敛慢、参数过拟合等问题。为了便于神经网络的部署和应用，神经网络压缩方法越来越受到重视。

参数剪枝是一种有效的神经网络压缩方法，可以分为结构化剪枝和非结构化剪枝。靳丽蕾，杨文柱，王思乐等(《一种用于卷积神经网络压缩的混合剪枝方法》，小型微型计算机系统，2018，39(12)：2596-2601)提出了一种将权重剪枝和卷积核剪枝相结合的混合剪枝方法，依次剪除掉网络中对精度贡献小的卷积核和权重，以实现最大限度的网络压缩。这种混合剪枝方法能够在保证模型精度的同时得到较高的压缩率，但是权重剪枝属于非结构化剪枝，会造成网络结构的不规则稀疏性，需要采用特殊的稀疏存储方式或专用计算单元才能发挥其效能，无法将其有效地应用于通用的计算设备。而如果仅对卷积核进行剪枝则不能去除卷积核中的冗余参数，无法达到较高的压缩率。

发明内容

要解决的技术问题

已有的卷积神经网络结构化剪枝方法不能消除卷积核中的冗余参数，导致网络模型压缩率较低，而非结构化剪枝方法虽然压缩率高，但是无法有效应用于通用计算设备。本发明提出了一种基于任意形状卷积核的图像分类网络压缩方法。

技术方案

图像分类网络一般由卷积层、激活层、池化层及全连接层组成，以单幅图像为输入，经过卷积、激活、池化等计算提取到图像中的高级语义特征，最后由全连接层进行分类判别，其中卷积层占据了绝大部分的参数量和计算量。为了减小图像分类网络的运算复杂度，本发明对网络卷积层进行压缩，提出了一种任意形状卷积核的计算方法来代替传统的卷积运算，从而有效消除网络卷积核中的冗余参数并减小卷积计算量。

一种基于任意形状卷积核的图像分类网络压缩方法，其特征在于：采用任意形状卷积核替换图像分类网络中的常规卷积核，利用梯度下降算法在数据集上进行网络训练，收敛后的网络模型即可用于图像分类；所述的任意形状卷积核的计算方法：

对于具有s个点的任意形状卷积核，将高和宽分别为h和w的c个通道输入特征图复制s份，并分别向s个对应方向平移得到X_g＝{X₁,X₂,…,X_s}，这s个方向距离分别与卷积核中各参数相对于中心参数的方向距离成镜像关系；对X_g在第一个维度进行堆叠得到其与权重进行1×1卷积即便可得到所需形状卷积核的卷积结果Y。

优选地：所述的任意形状的卷积核为十字形卷积核。

优选地：所述的任意形状的卷积核为T字形卷积核。

优选地：所述的任意形状的卷积核为一字形卷积核。