[发明专利]一种卷积模型轻量化方法及系统

说明书

本发明提供一种卷积模型轻量化方法及系统，其中方法包括：获取候选评估所述候选剪枝策略；其中，候选剪枝策略为卷积原模型中若干层级对应的剪枝率的集合；评估所述候选剪枝策略，获得所述候选剪枝策略的评估结果；根据所述评估结果生成目标剪枝策略；评估目标剪枝策略在目标硬件上的性能，输出最优剪枝策略；根据最优剪枝策略对所述卷积原模型进行剪枝操作，获得轻量化卷积模型。本发明大大减少了现有卷积模型的参数量与计算量，为卷积模型提供了一种针对真实的硬件时延反馈的轻量化框架。

技术领域

本发明涉及神经网络剪枝技术领域，特别是涉及一种卷积模型轻量化方法及系统。

背景技术

随着深度学习理论和相关技术的蓬勃发展，有很多过去人们无法功课的问题都取得了巨大的进展，例如语音合成、语音识别等。特别是深度卷积神经网络(“ImageNetClassification with Deep Convolutional Neural Networks”)的提出，让计算机视觉的研究有了跨跃性的发展，人们通过深度卷积神经网络在图像分类、目标检测和语义分割上取得了重大的进展。同时随着GPU芯片的发展，人们可以使用的算力越来越大，神经网络被构建的越来越深，参数越来越大，人们能够利用神经网络做的事情越来越多。但是巨大的参数量使得深度卷积模型在某些场景难以部署于实际的设备，比如在智能家居场景下，出于隐私保护和时延的考虑，各类模块必须部署在端设备上，但是通常端设备的算力和存储都十分有限，这给现有的深度学习技术带来了独特的技术挑战。

发明内容

本发明提供一种卷积模型轻量化方法及系统，克服现有卷积模型参数量大、计算量大，难以在端设备上部署的问题。

本发明一个实施例提供一种卷积模型轻量化方法，包括：

获取候选评估所述候选剪枝策略；其中，候选剪枝策略为卷积原模型中若干层级对应的剪枝率的集合；

评估所述候选剪枝策略，获得所述候选剪枝策略的评估结果；

根据所述评估结果生成目标剪枝策略；

评估目标剪枝策略在目标硬件上的性能，输出最优剪枝策略；

根据最优剪枝策略对所述卷积原模型进行剪枝操作，获得轻量化卷积模型。

进一步地，所述评估所述候选剪枝策略，包括：基于短期微调的评估，具体地：

根据所述候选剪枝策略对所述卷积原模型进行剪枝操作，获得卷积剪枝模型；

通过验证集评估所述卷积剪枝模型，得到验证集准确率及损失函数数值；其中，所述验证集准确率及损失函数数值作为所述候选剪枝策略的评估结果。

进一步地，所述评估所述候选剪枝策略，包括：基于更新批规范化层的评估，具体地：

根据所述候选剪枝策略对所述卷积原模型进行剪枝操作，获得第一卷积剪枝模型；

通过训练集对所述卷积剪枝模型进行推理，得到特征值；

根据所述特征值更新批规范化层的统计量，得到滑动平均值以及滑动方差；

通过滑动平均值以及滑动方差更新所述第一卷积剪枝模型，生成第二卷积剪枝模型；

通过验证集评估所述第二卷积剪枝模型，得到验证集准确率及损失函数数值；其中，所述验证集准确率及损失函数数值作为所述候选剪枝策略的评估结果。

进一步地，所述获取候选剪枝策略，包括：候选剪枝策略随机搜索，具体地：

根据搜索空间生成待候选剪枝策略；

通过硬件性能反馈模块对所述待候选剪枝策略进行评估；

若所述待候选剪枝策略不满足预设硬件性能约束条件，则再次根据搜索空间生成另一个待候选剪枝策略；