[发明专利]处理方法及加速装置

说明书

本公开提供了一种处理装置，在训练和运算过程中，对神经网络的权值进行粗粒度稀疏，进而使得在训练和运算过程中减少访存同时减少运算量，从而获得加速比并降低能耗。

技术领域

本公开涉及计算机领域的一种处理方法及加速装置，进一步涉及一种通过剪枝神经网络权值而加速运算的处理方法及加速装置。

背景技术

神经网络(neural network)已经获得了非常成功的应用。但是随着我们设计更大规模，更深层次的神经网络，将引入更多的权值，而超大规模权值成为神经网络应用的一个巨大挑战。一方面，大规模的权值数据对存储提出了更高的要求，大量访存操作将带来巨大的访存能耗，另一方面，大量的权值对运算单元也提出更高要求，计算时间和计算能耗随之增加。因此，在降低计算精度的前提下减少神经网络的权值，从而减少数据存储量以及计算量成为一个亟待解决的问题。

目前大部分的工作主要利用低秩矩阵分解或者哈希技巧等，但是这些方法能够减少的权值以及计算量有限，并且会降低神经网络的精度，因此，需要一种更加有效的方法减少神经网络的权值并减少计算量。

发明内容

(一)要解决的技术问题

有鉴于此，本公开的目的在于提供一种处理方法以及加速装置，以解决以上所述的至少一项技术问题。

(二)技术方案

第一方面，本发明实施例提供一种处理装置，包括：

粗粒度枝单元，用于对神经网络的权值进行粗粒度剪枝，以得到剪枝后的权值；

运算单元，用于根据剪枝后的权值对所述神经网络进行训练；

其中，所述粗粒度剪枝单元具体用于：

通过滑动窗口从神经网络的权值中选取出M个权值，所述M为大于1的整数；当所述M个权值满足预设条件时，将所述M个权值全部或者部分置为零。

进一步的，所述预设条件为：

所述M个权值的信息量小于第一预设阈值。

进一步的，所述M个权值的信息量为所述M个权值绝对值的算术平均值、所述M个权值绝对值的几何平均值或者所述M个权值的最大值，所述第一预设阈值为第一阈值、第二阈值或者第三阈值，所述M个权值的信息量小于第一预设阈值包括：

所述M个权值绝对值的算术平均值小于所述第一阈值，或者所述M个权值绝对值的几何平均值小于所述第二阈值，或者所述M个权值的最大值小于所述第三阈值。

进一步的，所述粗粒度剪枝单元用于：重复对神经网络的权值进行粗粒度剪枝以及根据剪枝后的权值对神经网络进行训练，直至保证在精度不损失设定精度的前提下没有权值满足所述预设条件。

进一步的，所述设定精度为x％，其中x介于0至5之间。

进一步的，所述神经网络包括全连接层、卷积层和/或长短期记忆LSTM层，其中，所述全连接层的权值是一个二维矩阵(Nin,Nout)，其中Nin是输入神经元的个数，Nout是输出神经元的个数，所述全连接层有Nin*Nout个权值；所述卷积层的权值是一个四维矩阵(Nfin,Nfout,Kx,Ky)，其中Nfin是输入特征图像的个数，Nfout是输出特征图像的个数，(Kx,Ky) 是卷积核的大小，所述卷积层有Nfin*Nfout*Kx*Ky个权值；所述LSTM层的权值有m个全连接层的权值组成，所述m为大于0的整数，第i个全连接层权值为(Nin_i，Nout_i)，其中i 是大于0且小于或等于m的整数，Nin_i表示第i个全连接层权值输入神经元个数，Nout_i 表示第i个全连接层权值输出神经元个数；所述粗粒度剪枝单元具体用于：