[发明专利]基于改进深度神经网络的图像分类方法、装置与电子设备

说明书

本发明实施例提供一种基于改进深度神经网络的图像分类方法、装置与电子设备，其中该方法包括：在深度神经网络模型的前馈网络中插入近似算子，并对插入近似算子后的深度神经网络模型进行再训练；在再训练的过程中，对所述插入近似算子后的深度神经网络模型进行硬件近似，获取硬件简化模型；利用该硬件简化模型，对待分类图像进行类别划分。本发明实施例通过在深度神经网络模型的前馈网络中插入近似算子，实现将模型中的精确运算单元逐步替换为近似运算单元，能有效解决训练过程的收敛性问题，同时通过将模型权重量化为定点数，能够有效提高模型的容错能力，从而有效提高对图像的分类效率和精确度。

技术领域

本发明涉及人工智能技术领域，更具体地，涉及一种基于改进深度神经网络的图像分类方法、装置与电子设备。

背景技术

大数据和物联网的新兴应用显著增加了计算工作量，因此硬件效率已成为在各个设备上处理密集型任务的一个关键因素。近年来，对深度神经网络(Deep NeuralNetworks,DNNs)的定点量化被深入研究，该研究直接利用DNNs在数据层面的鲁棒性，实现了CPU、GPU和FPGA上的节能计算。

但是，在一些近似计算中，如人脸识别、图像分类等，要用到近似的逻辑和组件，然而由于其中故障值比较大，会造成严重的精度损失。为克服这一问题，传统做法中用近似硬件对模型进行再训练。然而，大多数DNN芯片，如ShiDianNao，只具有前向推理路径，而不具有反向修正的训练路径，使得训练算法通常只能离线进行。离线训练通常脱离硬件本身而仅采用软件实现，导致训练结果精确度不高。为此，现有技术主要利用增量网络量化法(INQ)或神经网络结构优化法来进行深度神经网络的近似计算。

对于INQ，其中包括三个相互依存的操作，即权重划分、分组量化和再训练。也即，在预训练的每一层中，将CNN模型的权重划分为两个不相交的组。对其中一组不进行量化处理，使其形成一个低精度的基，同时对另一组进行量化处理，并使其参与的模型预训练，以补偿未进行量化的组的精度损失。整个训练过程中以迭代的方式按照上述操作过程对模型进行循环训练，直到模型所有的权重都转换为低精度，得到网络的增量量化与精度增强模型。但是，该方法只将NNs中的权重与神经元值量化为定点数，神经网络不够精确，从而导致对图像的分类精确度不高。

在神经网络结构优化法中，通过神经网络结构来扩展非精确计算系统的应用范围和容错能力，并进行节能降耗，具体利用近似乘法器代替精确乘法器，并对网络进行再训练，以极大地提高对硬件故障的容忍度。但是该方法只适用低复杂度网络(如MLP)和分类任务(如MNIST)的情形，在引入高度近似算子时，由于误差积累效应，深度神经网络在训练阶段难以收敛，从而导致对图像的分类效率较低且精确度不高。

发明内容

为了克服上述问题或者至少部分地解决上述问题，本发明实施例提供一种基于改进深度神经网络的图像分类方法、装置与电子设备，用以有效提高对待分类图像的分类效率和精确度。

第一方面，本发明实施例提供一种基于改进深度神经网络的图像分类方法，包括：

在深度神经网络模型的前馈网络中插入近似算子，并对插入近似算子后的深度神经网络模型进行再训练；

在所述再训练的过程中，对所述插入近似算子后的深度神经网络模型进行硬件近似，获取硬件简化模型作为改进的深度神经网络模型；

利用所述改进的深度神经网络模型，对待分类图像进行类别划分。

其中可选的，所述在所述再训练的过程中，对所述插入近似算子后的深度神经网络模型进行硬件近似的步骤具体包括：

根据所述近似算子确定增量步长，以对所述插入近似算子后的深度神经网络模型的权重进行分组，并选择所有分组中任一分组，对所述任一分组的权重进行量化处理；

采用近似运算单元，替换量化后权重中的精确运算单元，实现硬件近似。