[发明专利]一种模型剪枝方法及系统

说明书

本发明提供一种模型剪枝方法及系统，涉及机器学习技术领域，包括：步骤S1，获取待剪枝的神经网络模型，并计算神经网络模型中每个卷积层包含的各卷积核的重要度；步骤S2，根据预设的总剪枝率和神经网络模型中包含的卷积层的层数处理得到神经网络模型中各卷积层的层间稀疏率，并根据各层间稀疏率和各重要度分别对各卷积层进行剪枝得到剪枝后模型。有益效果是在对神经网络模型进行剪枝时，各卷积层的层间稀疏率能够基于总剪枝率和卷积层的层数自动生成，同时优先裁剪重要度低的卷积核，由于被裁剪的卷积核对整个神经网络模型来说是冗余的，所以能够在保持模型精度的同时降低神经网络模型的内存占用量以及模型的推理时延。

技术领域

本发明涉及机器学习技术领域，尤其涉及一种模型剪枝方法及系统。

背景技术

近年来，深度神经网络成为了机器学习领域中的主流方法，它在处理图像分类、目标检测、语义分割等视觉任务中取得了不错的成绩。然而，目前深度学习的主干网络如VGG-16拥有1.44亿个参数以及150亿次浮点型计算，ResNet-152拥有0.58亿个参数以及113亿次浮点型计算，ViT-L的参数量达到3.07亿，浮点型计算量更是达到4000多亿次。庞大的参数量和计算量使其对部署的服务器的计算能力和内存空间均具有较高的要求，从而限制了其从笨重的服务器上扩展到像可穿戴设备、手机、机器人、无人机等终端设备上，考虑到此类终端设备对计算能力和内存空间有严格限制，因此为实现将模型部署至终端设备，降低模型的大小以及计算花销成为亟待解决的技术问题。

发明内容

针对现有技术中存在的问题，本发明提供一种模型剪枝方法，包括：

步骤S1，获取待剪枝的神经网络模型，并计算所述神经网络模型中每个卷积层包含的各卷积核的重要度；

步骤S2，根据预设的总剪枝率和所述神经网络模型中包含的所述卷积层的层数处理得到所述神经网络模型中各所述卷积层的层间稀疏率，并根据各所述层间稀疏率和各所述重要度分别对各所述卷积层进行剪枝得到剪枝后模型。

优选的，所述步骤S1包括：

步骤S11，将各所述卷积层的卷积层参数分别从四维张量转换成二维矩阵，每个所述二维矩阵中每行各元素的元素值分别表示对应的所述卷积层中的每个所述卷积核的卷积核参数；

步骤S12，分别计算所述二维矩阵中各列所述卷积核参数的均值，并根据各所述卷积核参数和所述均值分别处理得到每个所述卷积层中各所述卷积核两两之间的余弦距离；

步骤S13，根据各所述余弦距离处理得到每个所述卷积层中各所述卷积核的所述重要度。

优选的，所述步骤S12中，根据以下公式处理得到所述余弦距离：

其中，

其中，D_cos(A,B)用于表示卷积核A和卷积核B之间的所述余弦距离，A_u用于表示所述卷积核A所在行的第u列的所述卷积核参数，B_u用于表示所述卷积核B所在行的第u列的所述卷积核参数，l_i用于表示所述二维矩阵的总列数，Avg_u用于表示所述二维矩阵的第u列的各所述卷积核参数的所述均值，n用于表示所述二维矩阵的总行数，W_j(u)用于表示所述二维矩阵的第j行第u列的所述卷积核参数。

优选的，所述步骤S13中，根据以下公式处理得到所述重要度：

其中，Im_i,j用于表示所述神经网络模型中的第i个卷积层第j个卷积核的所述重要度，用于表示第i个卷积层第j个卷积核与第i个卷积层第k个卷积核之间的余弦距离，n用于表示所述二维矩阵的总行数。

优选的，所述步骤S2包括：