[发明专利]基于局部稀疏约束的结构化剪枝方法和装置

说明书

本发明提供一种基于局部稀疏约束的结构化剪枝方法和装置。其中方法包括：基于预先设置的掩码，通过样本数据集对神经网络模型进行限制作用范围的稀疏化训练，得到权值稀疏的神经网络模型；其中，所述掩码是基于剪枝率预先设置，用于指定所述神经网络模型中进行所述稀疏化训练的通道；基于所述预先设置的掩码，对所述权值稀疏的神经网络模型中输出通道的参数和网络连接进行剪枝处理；通过所述样本数据集对剪枝处理得到的神经网络模型进行微调训练，得到目标神将网络模型。本发明可以保证结构化剪枝得到的神经网络模型相比于现有剪枝方法得到的神经网络模型拥有更好的表现。

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于局部稀疏约束的结构化剪枝方法和装置。

背景技术

随着计算机技术的发展，各类深度学习技术在计算机视觉以及自然语言处理等领域被广泛应用。虽然深度神经网络模型在任务处理上具有优越的表现，但是因其参数量大、算力与存储成本需求较高等特点，使得很难被部署到终端设备上。模型剪枝技术的出现为解决这一问题提供了有效的方法。所谓模型剪枝，一般是使用一个较大的神经网络模型对大量数据进行拟合训练，训练完毕后通过去掉不重要的权重或者通道，使神经网络模型在保留优越表现的同时，降低神经网络模型的参数量，加速神经网络模型的前向传播。而模型剪枝中的结构化剪枝，以卷积核为粒度进行裁剪，剪枝后的神经网络模型保持了常规的卷积网络结构，不需要特定推理库和硬件支持就可以进行部署和前向推理。

目前常用的结构化剪枝方法，是在剪枝前先对神经网络模型进行L1正则化稀疏化训练，再将被稀疏掉的通道对应的参数和网络连接从神经网络模型中去掉，最后微调剪枝后的神经网络模型来恢复精度。这种方法通过L1正则化稀疏化训练将神经网络模型约束到稀疏状态，可以减小剪枝操作对神经网络模型表现的影响。

然而，这种常用的结构化剪枝方法在实际使用中仍然存在以下问题：L1正则化使神经网络模型变得稀疏，但也会对被保留的通道产生约束，常用的结构化剪枝方法的稀疏化训练会限制被保留的通道的表达能力，从而影响剪枝后神经网络模型的收敛，进而影响剪枝后神经网络模型的精度。

发明内容

本发明提供一种基于局部稀疏约束的结构化剪枝方法和装置，用以解决现有技术稀疏化训练会限制被保留的通道的表达能力，从而影响剪枝后神经网络模型的收敛的缺陷，通过对稀疏化训练的作用范围进行限制，可以保证结构化剪枝得到的神经网络模型的收敛性。

第一方面，本发明提供一种基于局部稀疏约束的结构化剪枝方法，包括：

基于预先设置的掩码，通过样本数据集对神经网络模型进行限制作用范围的稀疏化训练，得到权值稀疏的神经网络模型；其中，所述掩码是基于剪枝率预先设置，用于指定所述神经网络模型中进行所述稀疏化训练的通道；

基于所述预先设置的掩码，对所述权值稀疏的神经网络模型中输出通道的参数和网络连接进行剪枝处理；

通过所述样本数据集对剪枝处理得到的神经网络模型进行微调训练，得到目标神将网络模型。

根据本发明提供的基于局部稀疏约束的结构化剪枝方法，所述基于预先设置的掩码，通过样本数据集对神经网络模型进行限制作用范围的稀疏化训练，得到权值稀疏的神经网络模型，包括：

获取所述预先设置的掩码；其中，所述掩码是基于所述剪枝率和所述神经网络模型的层数以及每层的输出通道数预先设置；

基于所获取的掩码，对所述稀疏化训练的目标函数中的L1正则化项进行修改；

基于修改后的目标函数，通过所述样本数据集对所述神经网络模型进行稀疏化训练，得到所述权值稀疏的神经网络模型。