[发明专利]一种深度神经网络模型压缩方法及装置

说明书

本申请实施例提供了一种深度神经网络模型压缩方法及装置，深度神经网络模型压缩方法包括：获取待压缩深度神经网络模型中网络层的当前计算状态；根据当前计算状态，通过预先训练的计算模型，得到网络层的压缩量；基于压缩量，对网络层进行压缩；确定网络层压缩后的深度神经网络模型。通过本方案，可以保证深度神经网络模型的输出性能。

技术领域

本申请涉及深度学习技术领域，特别是涉及一种深度神经网络模型压缩方法及装置。

背景技术

DNN(Deep Neural Network，深度神经网络)作为机器学习研究中的一个新兴领域，通过模仿人脑的机制来解析数据，是一种通过建立和模拟人脑进行分析学习的智能模型。目前，例如CNN(Convolutional Neural Network，卷积神经网络)、RNN(RecurrentNeural Network，循环神经网络)、LSTM(Long Short Term Memory，长短期记忆网络)等DNN已在目标检测与分割、行为检测与识别、语音识别等方面得到了很好的应用。

随着识别、检测等实际场景越来越复杂，对DNN的功能要求不断提高，DNN的网络结构也越来越复杂、网络层数不断增加，使得计算复杂度、硬盘存储、内存消耗等都随之大幅度增长。这就要求运行DNN的硬件平台需具有大计算量、高内存、高带宽等特点。但是，硬件平台资源通常情况下是有限的，如何降低DNN对硬件平台资源的开销已成为深度学习技术发展亟需解决的问题。

为了降低DNN对硬件平台资源的开销，相应的提出了DNN模型压缩方法，通过人工设置每个网络层的压缩量，基于压缩量对各网络层进行矩阵分解、通道裁剪等结构化压缩处理，这样，可以减少每一个网络层的计算量，从而达到降低DNN对硬件平台资源开销的目的。但是，压缩量的设置易受到人工的主观影响，压缩量设置的不合理，直接影响着DNN模型的输出性能。

发明内容

本申请实施例的目的在于提供一种深度神经网络模型压缩方法及装置，以保证深度神经网络模型的输出性能。具体技术方案如下：

第一方面，本申请实施例提供了一种深度神经网络模型压缩方法，所述方法包括：

获取待压缩深度神经网络模型中网络层的当前计算状态；

根据所述当前计算状态，通过预先训练的计算模型，得到所述网络层的压缩量；

基于所述压缩量，对所述网络层进行压缩；

确定网络层压缩后的深度神经网络模型。

可选的，所述网络层的当前计算状态，包括：所述网络层的当前计算量、已压缩计算量及待压缩计算量；

所述获取待压缩深度神经网络模型中网络层的当前计算状态，包括：

获取待压缩深度神经网络模型的预设目标计算量、所述待压缩深度神经网络模型中网络层的当前计算量及已压缩计算量；

根据所述预设目标计算量、所述当前计算量及所述已压缩计算量，计算所述网络层的待压缩计算量。

可选的，在所述基于所述压缩量，对所述网络层进行压缩之后，所述方法还包括：

针对下一网络层，返回执行所述获取待压缩深度神经网络模型中网络层的当前计算状态，直至对所述待压缩深度神经网络模型中的所有网络层均完成压缩。

可选的，在所述确定网络层压缩后的深度神经网络模型之后，所述方法还包括：

获取样本集；

根据所述样本集，按照预设迭代周期，对所述网络层压缩后的深度神经网络模型的网络参数进行调整，得到模型精度；