[发明专利]深度卷积神经网络的压缩方法及系统

说明书

本发明涉及一种深度卷积神经网络的压缩方法及系统，所述压缩方法包括：根据滤波器重要性选择方式和/或模型压缩率，确定待压缩深度卷积神经网络中不重要的滤波器；对不重要的滤波器施加渐进式稀疏约束，作为正则项加入到网络训练的损失函数中，得到优化损失函数；根据正则项，采用阈值迭代算法及反向传播算法联合求解，得到待压缩深度卷积神经网络的更新参数；基于所述优化损失函数及更新参数，获得具有滤波器稀疏形式的卷积神经网络模型；利用结构化剪枝算法，对所述具有滤波器稀疏形式的卷积神经网络模型进行剪枝，得到网络精度较高的压缩后的卷积神经网络模型。

技术领域

本发明涉及卷积神经网络及人工智能技术领域，特别涉及一种深度卷积神经网络的压缩方法及系统。

背景技术

随着深度神经网络在人工智能领域地不断发展，比如计算机视觉、语音识别和自然语言处理等，社会各行各业研究人员通过将人工智能相关算法部署到实际产品中，并取得了更加智能化的效果，进而促进了人工智能新一轮研究高潮的到来。

然而，深度神经网络在实际应用部署时，需要巨大的存储空间和高额的计算资源消耗，很难应用在一些移动端和嵌入式设备中。因此，深度神经网络模型压缩和加速方法已经被学术和工业界重视起来，相关成果也为人工智能技术落地提供了重要保障。

其中，在深度卷积神经网络模型压缩和加速方法中，结构化剪枝是一种被广泛研究的方法，其压缩获得的模型可以直接快速部署到现有框架下，不需要特殊的软硬件库支持。

但是通常的结构化剪枝方法具有以下缺点：1)在移除冗余时，直接将不重要的连接去掉，导致网络精度有较大的下降；2)基于稀疏约束的剪枝方法，在整个模型训练过程中，对所有的连接一直加入固定的惩罚力度，使重要的连接在学习稀疏过程中受到影响，进而导致模型精度下降。

发明内容

为了解决现有技术中的上述问题，即为了在结构化剪枝过程中，保证网络模型的精度，本发明的目的在于提供一种深度卷积神经网络的压缩方法及系统。

为解决上述技术问题，本发明提供了如下方案：

一种深度卷积神经网络的压缩方法，所述压缩方法包括：

根据滤波器重要性选择方式和/或模型压缩率，确定待压缩深度卷积神经网络中不重要的滤波器；

对不重要的滤波器施加渐进式稀疏约束，作为正则项加入到网络训练的损失函数中，得到优化损失函数；

根据正则项，采用阈值迭代算法及反向传播算法联合求解，得到待压缩深度卷积神经网络的更新参数；

基于所述优化损失函数及更新参数，获得具有滤波器稀疏形式的卷积神经网络模型；

利用结构化剪枝算法，对所述具有滤波器稀疏形式的卷积神经网络模型进行剪枝，得到压缩后的卷积神经网络模型。

可选地，所述根据滤波器重要性选择方式和/或模型压缩率，确定待压缩深度卷积神经网络中不重要的滤波器，具体包括：

根据卷积层滤波器权值的L₂范数值，确定待压缩深度卷积神经网络中不重要的滤波器。

可选地，所述根据卷积层滤波器权值的L₂范数值，确定待压缩深度卷积神经网络中不重要的滤波器，具体包括：

根据以下公式，计算滤波器权值的L₂范数值：

其中，表示卷积层l第j个滤波器L₂范数值，表示卷积层l第j个滤波器权值，||·||₂表示L₂范数算子；

将卷积层l中所有滤波器L₂范数值组成一重要性得分向量IS^(l)：