[发明专利]处理装置和处理系统

说明书

本公开提供了一种处理装置，包括存储单元、粗粒度选数单元和运算单元，其中，存储单元用于存储网络的输入和输出数据以及指令；粗粒度选数单元用于接收输入数据和非零单元位置数据，选出非零单元对应的输入数据；运算单元，用于输入非零单元和非零权值对应的输入数据。上述处理系统能减少访存同时减少运算量，从而获得加速比并降低能耗。

技术领域

本公开涉及计算机领域，进一步涉及人工智能领域。

背景技术

神经网络(neural network)已经获得了非常成功的应用。但是随着我们设计更大规模，更深层次的神经网络，将引入更多的权值，而超大规模权值成为神经网络应用的一个巨大挑战。一方面，大规模的权值数据对存储提出了更高的要求，大量访存操作将带来巨大的访存能耗，另一方面，大量的权值对运算单元也提出更高要求，计算时间和计算能耗随之增加。因此，减少神经网络的权值并减少计算量成为一个亟待解决的问题。

目前大部分的工作主要利用低秩矩阵分解或者哈希技巧等，但是这些方法能够减少的权值以及计算量有限，并且会降低神经网络的精度，因此，需要一种更加有效的方法减少神经网络的权值并减少计算量。

公开内容

(一)要解决的技术问题

有鉴于此，本公开的目的在于提供一种处理系统，以解决以上所述的至少一项技术问题。

(二)技术方案

根据本公开，提供一种处理装置，包括存储单元、粗粒度选数单元和运算单元，其中，

存储单元，用于存储神经网络的输入神经元、输出神经元、权值以及指令；

粗粒度选数单元，用于接收输入神经元和非零权值位置数据，选出非零权值对应的输入神经元；

运算单元，用于输入非零权值和非零权值对应的输入神经元，完成神经网络运算并将输出神经元作为下一层的输入神经元传输给存储单元。

进一步的，系统还包括指令控制单元，用于接收所述指令，经过译码后生成控制指令控制运算单元。

进一步的，所述存储单元用于存放的权值为非零权值以及非零权值位置数据。

进一步的，系统还包括：预处理单元：用于对输入神经元和权值进行预处理，将预处理后的数据输入所述存储部分。

进一步的，所述预处理包括数据的切分、高斯滤波、二值化、正则化和/或归一化处理。

进一步的，系统还包括指令缓存单元，用于缓存指令。

进一步的，系统还包括非零权值缓存单元，用于缓存非零权值数据。

进一步的，系统还包括非零权值位置缓存单元，用于缓存非零权值数据位置。

进一步的，系统还包括输入神经元缓存单元，用于缓存输入神经元。

进一步的，系统还包括输出神经元缓存单元，用于缓存输出神经元。

进一步的，指令缓存单元、非零权值缓存单元、非零权值位置缓存单元、输入神经元缓存单元或输出神经元缓存单元为片上缓存。

进一步的，系统还包括非零权值位置缓存单元，用于缓存非零权值位置数据；非零权值位置缓存将输入数据中每个连接权值一一对应到相应的输入神经元。

进一步的，系统还包括直接数据存取单元DMA，用于在所述存储单元，与所述指令缓存单元、非零权值缓存单元、非零权值位置缓存单元、输入神经元缓存单元或输出神经元缓存中进行数据或者指令读写。

进一步的，所述运算单元包括以下至少一种：

乘法器，用于将所述第一输入数据和第二输入数据相乘，得到相乘之后的数据；