[发明专利]一种卷积神经网络中的启发式滤波器剪枝方法和系统

说明书

本发明公开了一种卷积神经网络中的启发式滤波器剪枝方法和系统，包括：获取每个卷积层的每个滤波器在两个时期之间的调整余弦相似度，依照调整余弦相似度对滤波器进行软剪枝；对软剪枝更新后的卷积神经网络进行重建；重复软剪枝和重建的过程直至得到精度稳定后的卷积神经网络；获取精度稳定后的卷积神经网络的每个卷积层的每个滤波器在两个时期之间的调整余弦相似度，依照调整余弦相似度对滤波器进行硬剪枝；对硬剪枝更新后的卷积神经网络进行微调，直至卷积神经网络的网络精度达到稳定值。本发明能解决未考虑滤波器在卷积神经网络训练过程中距离和方向的动态变化而造成剪枝后的卷积神经网络精度损失严重的技术问题。

技术领域

本发明属于计算机技术领域，更具体地，涉及一种卷积神经网络中的启发式滤波器剪枝方法和系统。

背景技术

卷积神经网络在计算机视觉领域应用非常广泛，但因巨大的计算成本和存储开销，导致其无法在资源受限的设备(如移动设备)上部署。有鉴于此，剪枝方法目前被广泛使用，用于降低卷积神经网络的网络复杂度，并达到压缩网络的目的。

如今，对卷积神经网络中滤波器的剪枝过程通常采用启发式算法，即通过判断每个卷积层中各个滤波器的重要性，去除卷积神经网络中不重要的滤波器，这会带来许多优点：(1)剪枝后的网络模型在网络结构上没有差异，因此可以被任何现有的深度学习库很好地支持；(2)内存占用将显著减少，包括来自模型参数本身，和中间层的激活；(3)由于剪枝后的卷积神经网络结构没有被破坏，因此可以通过其他压缩方法对其进行进一步的压缩和加速，如参数量化方法和编码技术等；(4)剪枝后的卷积神经网络可以大大加速更多的视觉任务，如目标检测或是语义分割。

然而，现有的启发式剪枝方法仍然存在一定的缺陷：其仅仅是根据卷积神经网络模型的静态状态来判断滤波器的重要性，并剪枝掉重要性较低的滤波器，却并未考虑滤波器在卷积神经网络训练过程中距离和方向的动态变化，即没有考虑滤波器信息熵大小，因此无法准确评估每个卷积层的滤波器的重要性，会造成剪枝后的卷积神经网络精度损失严重。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种卷积神经网络中的启发式滤波器剪枝方法和系统，其目的在于解决未考虑滤波器在卷积神经网络训练过程中距离和方向的动态变化而造成剪枝后的卷积神经网络精度损失严重的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种卷积神经网络中的启发式滤波器剪枝方法，其特征在于，具体包括如下步骤：

(1)获取卷积神经网络的每个卷积层的每个滤波器在该卷积神经网络的第j个时期和第j-off个时期之间的调整余弦相似度其中i为卷积神经网络中卷积层的序号，且有i∈[1荨卷积神经网络中卷积层的总数]，k为卷积层中滤波器的序号，且有k∈[1荨卷积层中滤波器的总数]，j＞off，off是预设阈值；

(2)针对卷积神经网络的第一个卷积层而言，基于步骤(1)得到的该卷积层中所有滤波器在该卷积神经网络的第j个时期和第j-off个时期之间的调整余弦相似度并依照调整余弦相似度从小到大的顺序对所有滤波器进行排列，并按照预设的剪枝率对排序后的滤波器进行软剪枝；

(3)对于卷积神经网络的剩余卷积层而言，重复上述步骤(2)，直至所有卷积层都被软剪枝完毕为止，从而得到软剪枝更新后的卷积神经网络；

(4)对软剪枝更新后的卷积神经网络进行off+1个时期的重建，以得到重建后的卷积神经网络；

(5)设置j＝j+off+1，重复上述步骤(1)至步骤(4)，并判断重建后的卷积神经网络的网络精度是否趋于稳定，如果是，则表示已经得到软剪枝稳定后的卷积神经网络，然后进入步骤(6)，否则继续重复本步骤；

(6)获取软剪枝稳定后的卷积神经网络的每个卷积层的每个滤波器在该卷积神经网络的第j+off+1个时期和第j+1个时期之间的调整余弦相似度