[发明专利]神经网络的压缩装置及方法

说明书

一种神经网络的压缩装置及方法，其中，该装置包括：因子矢量确定单元，分别确定用于对神经网络中每一层的滤波器和滤波器形状进行衰减的第一因子矢量和第二因子矢量，其中，第一因子矢量包括衰减因子c＝1和第一衰减因子α，第二因子矢量包括衰减因子c和第一衰减因子β，其中α和β均大于0且小于1；衰减单元，用于根据所述第一因子矢量与第二因子矢量分别对所述滤波器和滤波器形状进行衰减；剪枝单元，用于对衰减后的滤波器和滤波器形状进行剪枝，确定压缩后的神经网络。本发明基于渐进抑制学习，对神经网络进行压缩，在网络训练过程中加入削弱权值的第一和第二衰减因子，将权值衰减为零从而可将其剪枝，从而得到结构精简的神经网络模型。

技术领域

本发明涉及神经网络领域，尤其涉及一种神经网络的压缩装置及方法。

背景技术

近些年，深度神经网络(DNN)在计算机视觉领域取得了显著的成绩，而这突破性的进展则是因为人们拥有了大量的训练数据和强有力的计算资源。同时深度神经网络所需的存储空间和计算量也在不断增加。例如，被广泛使用的VGG-16网络需要500兆字节(MB)的存储空间，并且识别一张分辨率为224×224的图片需要15吉(G)次的浮点运算(FLOPs)。最近深度神经网络在嵌入式或者移动设备上的应用在渐渐发展，比如自动驾驶、智能手机和智能摄像头等。这些移动设备的特点是较少的存储空间、有限的计算资源和较短的电池使用时间，这就成了深度神经网络更好地部署在移动设备中的瓶颈。因此，深度神经网络压缩与加速作为一种解决办法变得越来越热门，其目的是设计一种方法在保证网络性能没有明显降低的条件下减少网络的存储空间并加快网络的识别速度。

在众多的深度神经网络压缩与加速方法中，基于网络剪枝方法的研究最为热门。剪枝方法通常先在一个计算资源充足的设备上将大网络采用一种剪枝策略训练或者微调出一个稀疏的小网络模型，之后把小模型的参数部署在资源受限的移动设备上就可以运行了。较早的剪枝方法是一种不规则的剪枝，将深度神经网络中的一些权重置为零从而实现减少网络存储空间的目的。但是这种不规则的网络模型不利于网络的加速，除非要设计特别的硬件来实现。后来的剪枝方法则变成一种网络结构层面的剪枝，即剪枝网络的滤波器(filters)、通道(channels)或者滤波器形状(filter shapes)等。这类剪枝方法可以分成两类：(1)先在已经训练好的大模型上应用剪枝方法，然后通过微调步骤来恢复性能。但是这种方法需要先有一个训练好的网络模型，而对于一个新的识别任务往往没有训练好的模型，这就要额外花费不少时间来训练好一个性能可观的大网络；(2)直接在网络训练过程中加入稀疏约束得到一个结构稀疏的模型，然后应用剪枝方法再通过微调步骤以恢复性能。这类剪枝方法由于在训练时加入了稀疏性的约束条件，会使得网络训练变得困难。

以下为现有技术缺点：

1、基于已经训练好的大模型的剪枝方法通常需要一个细致的微调步骤，而且已有训练好的模型这个条件有时满足不了，比如我们应用在一个新的识别任务上。

2、在网络训练过程中加入稀疏约束的剪枝方法不仅由于稀疏约束惩罚项的加入使得网络的训练变得困难，而且在网络训练结束实施剪枝方法后还需要一个精细的微调步骤，这也导致结构精简的小模型得来变得费时。

发明内容

(一)要解决的技术问题

本发明的目的在于提供一种神经网络的压缩装置及方法，以解决上述的至少一项技术问题。

(二)技术方案

本发明的一方面，提供了一种神经网络的压缩装置，包括：

因子矢量确定单元，分别确定用于对神经网络中每一层的滤波器和滤波器形状进行衰减的第一因子矢量和第二因子矢量，其中，第一因子矢量包括衰减因子c＝1和第一衰减因子α，第二因子矢量包括衰减因子c和第一衰减因子β，其中α和β均大于0且小于1；

衰减单元，用于根据所述第一因子矢量与第二因子矢量分别对所述滤波器和滤波器形状进行衰减；