[发明专利]一种基于全局特征关系的卷积神经网络压缩方法

说明书

本发明属于计算机科学领域，公开了一种基于全局特征关系的卷积神经网络压缩方法。本发明通过在卷积神经网络的批量归一化(Batch Normalization,BN)层后面加入全局特征关系(Global Feature Relation,GFR)子模块,实现提取通道关系并且抑制不重要通道的目的。GFR子模块主要涉及到池化，全连接层和移动平均运算。随后结合通道关系和BN层的通道尺度因子，评估每个通道的重要性程度，该指标可以帮助模型压缩方法更准确的筛选出模型中重要的通道。最后利用通道剪枝算法和网格搜索技术，实现在无需微调模型的情况下，消耗较少的时间和计算资源完成网络模型的压缩，显著降低模型的运行内存和存储内存，并加速模型的推断速度，极大地提高了卷积神经网络在小型移动设备上部署的可能性。

技术领域

本发明属于计算机科学领域，涉及人工智能技术应用，具体涉及一种基于全局特征关系的卷积神经网络压缩方法。

背景技术

得益于GPU等计算平台的深入发展，深度学习横空出世，飞速发展，极大程度地缩小了科学和实际应用之间存在的差距。以卷积神经网络(Convolutional Neural Network，CNN) 为代表的深度学习模型在计算机视觉和自然语言处理领域均取得了惊人的成就。多种视觉任务例如模式识别，图像分类，物体检测等被很好地完成。

但传统的卷积神经网络由于模型复杂，导致网络模型占用内存较大，并且推断速度缓慢；这严重阻碍了卷积神经网络在手机和智能手环等移动设备上的应用。并且随着模型的越发复杂，网络模型中越容易出现无效神经元。

发明内容

为了解决上述技术存在的问题，本发明提供了一种基于全局特征关系的卷积神经网络压缩方法。该方法通过在卷积神经网络的批量归一化(Batch Normalization,BN)层后面加入全局特征关系(Global Feature Relation,GFR)子模块,实现提取通道关系并且抑制不重要通道的目的。GFR子模块主要涉及到池化，全连接层和移动平均运算。随后结合通道关系和 BN层的通道尺度因子，评估每个通道的重要性程度，该指标可以帮助模型压缩方法更准确的筛选出模型中重要的通道。最后利用通道剪枝算法和网格搜索技术，实现在无需微调模型的情况下，消耗较少的时间和计算资源完成网络模型的压缩，显著降低模型的运行内存和存储内存，并加速模型的推断速度。

本发明所采用的技术方案是：

一种基于全局特征关系的卷积神经网络压缩方法，包括以下步骤：

步骤1：在卷积神经网络模型的BN层后加入GFR子模块，对网络模型进行稀疏化处理；

步骤2：重新训练模型，提取各个通道的关系因子sr和BN层的尺度因子γ；

步骤3：对每个通道的重要性程度进行评估，然后根据通道的重要性程度对所有通道进行排序；

步骤4：根据所有通道的排序结果，使用快速压缩方法对模型进行压缩。

步骤1中，GFR子模块包含三个操作：

(1)压缩操作(F_sq)：将每个通道矩阵c_t∈R^H×W映射为单个信号z_t，其中H和W分别为通道矩阵的高和宽，采用全局平均池化完成，计算方式为：其中c_t(i,j)表示通道矩阵c_t中第i行第j列对应的元素；