[发明专利]基于特征图响应的通道自适应分段动态网络剪枝方法

说明书

本发明为基于特征图响应的通道自适应分段动态网络剪枝方法，属于深度学习领域，包含以下步骤：S1：搭建卷积神经网络；S2：将其分段为前端浅层网络和后端深层网络；S3：在前端浅层网络层串联一个由霍夫变换和感知哈希算法；S4：在后端深层网络层串联一个由灰度共生矩阵和灰度直方图；S5：利用数据集对卷积神经网络训练；S6：计算卷积通道的相似度；S7：按照剪除率和相似度剪除分支；S8：重复步骤S5～S7，分段完成整个卷积神经网络的剪枝，并应用。本发明能够根据重要度的高低来决定剪枝，不会让数据集中所有的图片强制性遵循同一个剪枝子网，实现了分段加速推理和减小运算成本的目的。

技术领域

本发明涉及基于特征图响应的通道自适应分段动态网络剪枝方法，属于深度学习领域，尤其适用于基于特征图响应的通道自适应动态网络剪枝。

背景技术

深度卷积神经网络的出现在计算机视觉和自然语言处理等许多研究领域引起了人们的极大兴趣并取得了实质性进展。然而，基于深度卷积神经网络的模型(例如ResNet-50)中的参数数量通常超过数百兆字节，因此需要数十亿个浮点数乘法来处理输入数据。这不可避免地给网络模型在资源有限的设备(如移动电话和嵌入式设备)上的部署带来了巨大挑战。因此，巨大的存储空间和昂贵的计算成本已成为阻碍深度卷积神经网络在复杂现实场景中实际应用的主要问题。为了解决这个问题，需要对神经网络进行压缩，即在不显著降低模型性能的情况下压缩深层卷积神经网络，减少参数量。模型压缩的主要研究方向包括：剪枝、知识蒸馏、量化和低秩分解。而剪枝能从深层卷积神经网络中剪枝冗余的网络结构，是实现紧凑型神经网络的最直观方法之一。通常情况下，剪枝对深层卷积神经网络的影响可以做到非常的小。

关于神经网络剪枝的分类除了常见的非结构化剪枝和结构化剪枝之外还有一种是静态剪枝和动态剪枝，静态剪枝是剪枝算法执行完毕之后得到一个剪枝网络，在后续的检测与实用中就不再改变剪枝网络的结构，而动态剪枝则可以根据输入数据自适应地选择网络结构。对神经网络剪枝的研究在上世纪90年代初左右就已经出现了，比如汉森提出了基于重要性的剪枝方法[1]，就是对神经网络中每个隐藏单元添加与其权重绝对值相关的权重衰减来最小化隐藏单元数量。又比如上世纪90年代初提出的OBD[2]和OBS[3]方法，计算损失函数对于权重的二阶导数，也就是Hessian矩阵，用二阶导数对神经网络中权重进行重要程度排序，然后根据剪枝率对神经网络行裁剪。2018年AMC自动压缩的方法[4]被提出，根据不同的实际需求(保证精度或限制计算量)，该方法利用强化学习来自主学习每一层最优的稀疏比。训练和压缩两步交替优化的剪枝算法[5]也被提出，不需要计算量较大的相关性分析，且能够减少人工设置超参数的过程。

而在实践中存在个别输入在剪枝网络迭代了数次之后计算出来的相关性(采用的是阶段特征图之间的相似度)极弱的现象，这种现象是会导致默认数据集中的所有数据都强制性遵循同一个剪枝子网，限制了网络的表征能力、推理效率和可解释性。

[1]Hanson，Stephen Jose，L.Y.Pratt.Comparing Biases for Minimal NetworkConstruction with Back-Propagation[C]//Advances in Neural InformationProcessing Systems 1.1989.

[2]Lecun Y.Optimal Brain Damage[J].Neural Information ProceedingSystems 2，(279)1990：598-605.

[3]Hassibi B.Second Order Derivatives for Network Pruning：OptimalBrain Surgeon[J].Advances in neural information processing systems 5，1992：164--171.

[4]He Y.AMC：AutoML for Model Compression and Acceleration on MobileDevices[J].2018.