[发明专利]基于深度可分离卷积模块的剪枝方法及系统

说明书

本发明公开了一种基于深度可分离卷积模块的剪枝方法及系统，所述利用稀疏化方式训练基于深度可分离卷积模块的Mobilenet神经网络；利用剪枝规则对稀疏化训练后的网络模型进行处理，获得剪枝后的Mobilenet神经网络。该方法通过利用稀疏化方式训练深度可分离卷积模块的Mobilenet神经网络，利用剪枝规则对基于深度可分离卷积模块的Mobilenet神经网络进行剪枝，进一步压缩机器人边缘端神经网络的计算量，使得Mobilenet神经网络可以部署在边缘设备上。

技术领域

本发明涉及卷积神经网络压缩技术领域，尤其涉及一种基于深度可分离卷积模块的剪枝方法及系统。

背景技术

在机器人，手机等基于CPU边缘端设备算力有限，部署的深度神经网络的计算量往往决定了网络推理所需要消耗时间。随着卷积神经网络的发展，一种基于深度可分离卷积模块的网络架构在许多边缘端设备上得到应用。深度可分离卷积模块由Depthwise卷积和Pointwise卷积组成，Depthwise卷积本质上是一个大窗口的群卷积，在减少计算量的同时，保持网络的感受野。 Pointwise卷积是小窗口的常规卷积，功能在于调整网络的通道数，保持网络复杂度。一般来说，基于深度可分离卷积的Mobilenet/shufflenet等轻量化网络结构由人工设计，在实际业务场景下，不能直接部署在边缘端设备上，需要对网络结构/参数进一步压缩。

发明内容

本发明实施例提供一种基于深度可分离卷积模块的剪枝方法及系统，以解决现在有的神经网络计算量大，不能直接部署在边缘端设备上。

一种基于深度可分离卷积模块的剪枝方法，所述方法包括：利用稀疏化方式训练基于深度可分离卷积模块的Mobilenet神经网络；利用剪枝规则对稀疏化训练后的网络模型进行处理，获得剪枝后的Mobilenet神经网络。

进一步地，所述Mobilenet神经网络包括多组卷积模块，每组所述卷积模块包括Depthwise卷积块和Pointwise卷积块，训练损失函数Loss为：

Loss＝Loss_net+α(Loss_L1+Loss_diff)；

其中，α是调节系数，Loss_L1为稀疏化损失函数，Loss_diff为一致性损失函数，Loss_net为训练任务损失函数；

所述稀疏化损失函数Loss_L1为：

Loss_L1＝||Gamma_P||+||Gamma_D||；

其中，Gamma_D为本组可分离卷积模块的Gamma值，Gamma_P为上一组可分离卷积模块的Gamma值；

所述一致性损失函数Loss_diff为：

其中，P_mask＝Gamma_Pprune_thre；D_mask＝Gamma_Dprune_thre， prune_thre表示剪枝阈值，prune_thre＝le-4，P_mask表示Pointwise卷积块的mask，D_mask表示Depthwise卷积块的mask。

进一步地，所述剪枝规则为：

Mask＝(Gamma_Pprune_thre)∪(Gamma_Dprune_thre)；

其中，prune_thre表示剪枝阈值，prune_thre＝le-4。