[发明专利]一种稀疏网络结构剪枝方法及装置

说明书

本申请公开了一种稀疏网络结构剪枝方法及装置，方法包括：确定神经网络中带有结构稀疏正则化项的损失函数；将GroupLasso应用于损失函数中的结构化稀疏里，从而确定结构稀疏的优化目标函数；求解优化目标函数，得到神经网络中滤波器和通道的权重值，删除小于预设阈值的权重值对应的滤波器和通道。本申请使得神经网络移植到移动端时减少运营成本，以及加快神经网络推理速度。

技术领域

本申请涉及神经网络技术领域，尤其涉及一种稀疏网络结构剪枝方法及装置。

背景技术

神经网络(Ncural Network,NN)，是20世纪80年代兴起的热点研究领域。神经网络是由大量神经元相互连接构成的非线性、自适应的信息处理系统，是在脑神经科学研究基础上提出的。

近几年，深度神经网络在计算机视觉等领域(例如人脸识别、目标检测、图像分类、语义分割、图像检索)取得了重大突破，其主要原因在于高性能计算设备如CPU和并行化集群的出现，大大加快了训练和测试网络模型的速度，缩短了训练和测试的时间。神经网络是计算密集型模型，该模型包含大量参数，需要大容量的高速内存。

并且训练和测试大型深度神经网络一些缺点包括：

1)需要进行大量的浮点运算，导致训练和测试时间长，需要高性能的计算设备(例如CPU)来加快训练和测试的速度。

2)大型深度神经网络模型通常包含大量的参数，需要大容量的高速内存来存储。这些限制阻碍了深度神经网络模型在手机等移动终端设备上的应用(移动终端设备内存小，计算能力弱)。

3)传统的剪枝方法忽视了不同参数对网络结果的影响不同。

发明内容

本申请提供了一种稀疏网络结构剪枝方法及装置，使得移动到移动端时减少运营成本，以及加快神经网络推理速度。

有鉴于此，本申请第一方面提供了一种稀疏网络结构剪枝方法，所述方法包括：

确定神经网络中带有结构稀疏正则化项的损失函数；

将GroupLasso应用于损失函数中的结构化稀疏里，从而确定结构稀疏的优化目标函数；

求解优化目标函数，得到神经网络中滤波器和通道的权重值，删除小于预设阈值的权重值对应的滤波器和通道。

可选的，所述结构稀疏的优化目标函数为：

式中，E_D(W)表示数据损失；分别是l层的第n_l滤波器参数和第c_l通道参数，N_l表示l层滤波器的数量，C_l表示l层的通道数量；λn和λc表示模型中需要学习或由经验给定的超参数。

可选的，所述求解优化目标函数，得到神经网络中滤波器和通道的权重值，删除小于预设阈值的权重值对应的滤波器和通道，包括：

求解优化目标函数，得到神经网络中滤波器和通道的权重值；

计算每层中每个滤波器和通道的权重绝对值以及对应的重要性参数；

获取所有滤波器的所述重要性参数的集合以及通道的所述重要性参数的集合；

分别将滤波器和通道的所述重要性参数进行排序，根据预置剪枝率计算滤波器和通道的重要性参数阈值，去掉所述重要性参数中小于所述重要性参数阈值的滤波器和通道。

可选的，在所述求解优化目标函数，得到神经网络中滤波器和通道的权重值，删除小于预设阈值的权重值对应的滤波器和通道之后，还包括：

采用加权聚类量化的方法压缩神经网络模型；