[发明专利]基于多粒度剪枝的网络模型压缩方法及装置

说明书

技术领域

本发明涉及图像处理、视频监控以及深度神经网络，特别涉及基于多粒度剪枝的网络模型压缩方法及装置。

背景技术

近年来，随着人工智能的快速发展，深度学习网络由于通过组合底层特征形成高层特征，受环境变化的影响较小，在计算机视觉领域取得了突破性成果，尤其在人脸识别和图像分类等方面超越了人类的识别准确度。

然而，现有的高性能深度学习网络一般都有几百万甚至上亿个参数，这使得它的存储和计算消耗都非常巨大，限制了其应用于存储和计算资源都受限的设备。因此，对深度学习网络模型压缩进行压缩是解决这个问题的一个关键步骤。

但是，现有的模型压缩技术通常是通过模型权重值的稀疏化来减少模型尺寸，但是并不能显著地减少运行深度学习网络所需要的存储和计算资源。

综上所述，需要提出一种降低存储和计算资源消耗的深度学习网络模型压缩方法。

发明内容

有鉴于此，本发明的主要目的在于降低存储资源和计算资源消耗，实现网络模型的压缩。

为达到上述目的，按照本发明的第一个方面，提供了基于多粒度剪枝的网络模型压缩方法，该方法包括以下一个或者两个或者三个步骤：

输入通道粒度层次剪枝步骤，采用不重要元素剪枝法，将网络模型的输入通道的粒度层次中不重要元素进行剪枝；

卷积核粒度层次剪枝步骤，采用不重要元素剪枝法，对网络模型的卷积核的粒度层次中不重要元素进行剪枝；

权重参数粒度层次剪枝步骤，采用不重要元素剪枝法，对网络模型的权重参数的粒度层次中不重要元素进行剪枝。

进一步地，所述不重要元素剪枝法包括：

不重要元素的置零步骤，计算当前粒度层次中每个元素的重要度，将不重要元素对应的值置零；

剪枝微调步骤，根据训练数据微调整个网络模型；

损失判断步骤，计算微调后的网络模型的精确度损失，若所述精确度损失小于精确度损失阈值，则继续执行不重要元素的置零步骤，否则结束。

进一步地，所述不重要元素的置零步骤包括：

元素重要度排序步骤，统计当前粒度层次中每个待剪枝元素的权重参数向量W_e，计算所述待剪枝元素的重要度对所有待剪枝元素按照重要度EIV_i从小到大进行升序排列，得到重要度升序集合，并计算所有待剪枝元素的重要度总和N为当前粒度层次权重参数的数量；

剪枝阈值计算步骤，根据能量剪枝率阈值EPR，计算剪枝能量EP＝EIVS×EPR，统计升序集合中重要度的累计分布，选取与剪枝能量相等的累计分布所对应的重要度作为剪枝阈值；

损失函数影响量计算步骤，输入一组测试数据，计算网络的损失函数值Loss，计算损失函数影响量

置零步骤，对于当前粒度层次中每个待剪枝元素i，如果待剪枝元素的重要度EIV_i小于剪枝阈值，并且损失函数影响量EL_i小于0，则将该待剪枝元素i对应的值置零。

按照本发明的另一个方面，提供了基于多粒度剪枝的网络模型压缩装置，该装置包括以下一个或者两个或者三个模块：

输入通道粒度层次剪枝模块，用于采用不重要元素剪枝模块，将网络模型的输入通道的粒度层次中不重要元素进行剪枝；

卷积核粒度层次剪枝模块，用于采用不重要元素剪枝模块，对网络模型的卷积核的粒度层次中不重要元素进行剪枝；

权重参数粒度层次剪枝模块，用于采用不重要元素剪枝模块，对网络模型的权重参数的粒度层次中不重要元素进行剪枝。

进一步地，所述不重要元素剪枝模块包括：

不重要元素的置零模块，用于计算当前粒度层次中每个元素的重要度，将不重要元素对应的值置零；

剪枝微调模块，用于根据训练数据微调整个网络模型；

损失判断模块，用于计算微调后的网络模型的精确度损失，若所述精确度损失小于精确度损失阈值，则继续执行不重要元素的置零模块，否则结束。

进一步地，所述不重要元素的置零模块包括：

元素重要度排序模块，用于统计当前粒度层次中每个待剪枝元素的权重参数向量W_e，计算所述待剪枝元素的重要度对所有待剪枝元素按照重要度EIV_i从小到大进行升序排列，得到重要度升序集合，并计算所有待剪枝元素的重要度总和N为当前粒度层次权重参数的数量；