[发明专利]一种基于轻量化深度神经网络的图像识别方法及装置

说明书

本发明公开了一种基于轻量化深度神经网络的图像识别方法及装置，所述方法包括以下步骤：1)构建并训练用于图像识别的深度神经网络模型；2)轻量化模型：循环更新模型的参数与修剪参数，每轮循环过程如下：首先对当前模型M当前特征层中重要性较低的通道进行修剪，得到本轮修剪后的模型M′，然后对其重新训练，并计算训练后M′的相对精度；若相对精度非负，则先计算本轮修剪的奖励，由此更新修剪参数，再进行下一轮循环；若相对精度为负，则放弃M′，回退到M，并根据精度损失是否在允许的精度损失范围内确定是更新修剪参数后进行下一轮循环还是结束循环；3)利用最终的模型对待识别图像进行识别。本发明适用于资源受限平台进行图像识别。

技术领域

本发明一种基于轻量化深度神经网络的图像识别方法(分类)方法及装置。

背景技术

深度神经网络自提出以来，已经在图像识别领域取得了广泛的应用，其对图像识别效果好，准确率高。但是，深度神经网络对于资源和空间的要求较高，在一些资源受限的平台无法应用深度神经网络对图像进行分类。

针对该问题，有必要提供一种能够在资源受限的平台上基于轻量化深度神经网络进行图像识别的方法。

发明内容

本发明所解决的技术问题是，针对现有技术的不足，提供一种基于轻量化深度神经网络的图像识别方法及装置，能够在资源受限的平台上基于深度神经网络进行图像识别。

本发明所采用的技术方案为：

一方面，提供一种基于轻量化深度神经网络的图像识别方法，包括以下步骤：

步骤1、构建用于图像识别的深度神经网络模型；基于训练集训练构建的模型，得到训练好的模型；

步骤2、轻量化网络模型：初始化修剪参数(强化学习的参数)，包括各个特征层的修剪步长(各个特征层的修剪步长取值可以不同)，并循环更新模型的参数与修剪参数；每轮循环过程如下：

首先，对于当前模型M中的当前特征层，采用任意的评价通道重要性的方法对其各个通道进行重要性程度排序，对重要性较低的α_i个通道进行修剪，得到本轮修剪后的模型M′；其中特征层是指模型中由一个卷积层、批归一化层和激活层组成的模块；任一特征层中的通道与其中卷积层的通道、批归一化层的通道一一对应；α_i为当前特征层的修剪步长，i为当前特征层的索引；

然后，基于训练集训练模型M′，并基于验证集计算训练后模型M′的精度，将其减去模型M的精度，得到模型M′的相对精度acc；

若相对精度acc≥0，则先计算本轮模型修剪的奖励，由此更新修剪参数，再进行下一轮循环；

若相对精度acc＜0，则判断精度损失|acc|是否在允许的精度损失范围(如5％)内，若是，则放弃本轮修剪后的模型M′，回退到本轮修剪前的模型M，并且更新修剪参数，再进行下一轮循环，否则放弃本轮修剪后的模型M′，回退到本轮修剪前的模型M，并且结束循环(退出轻量化过程)；

步骤3、利用最终修剪及训练后的模型(轻量化网络模型)对待识别图像进行识别，确定其类别标签；

所述训练集和验证集各包括多个图像样本及它们的类别标签。

进一步地，所述步骤2中，对于当前模型M中任一特征层，基于其批归一化层中各通道对应的放缩系数大小对各通道进行重要性程度排序；对应的放缩系数越大的通道重要性程度越大。基于放缩系数大小进行通道重要性程度排序，相对于基于特征图的排序，大大提高了排序速度。

进一步地，所述步骤2中，对重要性较低的α_i个通道进行修剪，是指对卷积层、全连接层、归一化层中与这α_i个通道相关联的权重进行置0；除了权重置0之外，还可以采用模型重构，即去掉原模型中与这α_i个通道相关联的结构的方法实现模型修剪。