[发明专利]处理方法及加速装置

摘要

本公开提供了一种处理装置，在训练和运算过程中，对神经网络的权值进行粗粒度稀疏，进而使得在训练和运算过程中减少访存同时减少运算量，从而获得加速比并降低能耗。

主权项

1.一种加速装置，其特征在于，包括：粗粒度剪枝单元、预处理单元、存储单元、直接存储访问DMA单元、粗粒度选数单元、指令控制单元和运算单元，其中，所述预处理单元与所述存储单元连接，所述存储单元与所述DMA单元连接，所述DMA单元与所述粗粒度剪枝单元、指令控制单元、粗粒度选数单元和运算单元连接，所述粗粒度剪枝单元和指令控制单元与所述运算单元连接；所述预处理单元，用于对原始数据进行预处理，并将预处理后的数据存储至所述存储单元；所述原始数据包括输入神经元、输出神经元和权值；所述存储单元，用于存储输入神经元、输出神经元、权值以及指令；其中当存储所述指令时只存储目标权值及其位置信息；所述目标权值为绝对值大于第二预设阈值的权值；所述DMA单元，用于在所述存储单元与所述指令控制单元、粗粒度剪枝单元、粗粒度选数单元和运算单元之间中进行数据或者指令读写；所述粗粒度剪枝单元，具体用于通过所述DMA单元从所述存储单元中获取所述权值，然后对所述权值进行粗粒度剪枝，以得到剪枝后的权值；运算单元，用于根据所述剪枝后的权值对神经网络进行训练；所述指令控制单元，用于通所述过DMA单元从所述存储单元中获取指令，并将指令译码生成控制信息以控制所述运算单元进行计算操作；所述粗粒度选数单元，用于接收输入神经元和所述目标权值的位置信息，并根据所述目标权值的位置信息选出需要进行运算的输入神经元，并将该输入神经元传输至所述运算单元；所述运算单元，还用于根据所述指令控制单元传输的控制信息对输入神经元和目标权值进行运算，以得到输出神经元，根据所述输出神经元得到输出神经元梯度，并通过所述DMA单元将输出神经元及输出神经元梯度存储到所述存储单元中；其中，所述粗粒度剪枝单元具体用于：通过滑动窗口从神经网络的权值中选取出M个权值，所述M为大于1的整数；当所述M个权值满足预设条件时，将所述M个权值的全部或者部分置为零。