[发明专利]一种用于神经网络处理器的激活装置及方法

权利要求书

1.一种用于神经网络处理器的激活装置，包括：

至少一个激活运算单元、神经元暂存单元、激活控制单元、输入接口、以及输出接口；

其中，所述激活运算单元为ReLU激活运算单元、或者为sigmoid函数激活运算单元或tanh函数激活运算单元，并且以可编程的软件模块实现；所述激活运算单元可同时处理的最大数据量小于一次性输入所述激活装置的待处理数据量；

所述神经元暂存单元用于暂存由所述输入接口一次性接收到的待激活神经元；

并且，所述激活控制单元与所述激活运算单元连接，用于根据所述一次性输入所述激活装置的待处理数据量与所述激活运算单元的处理能力之间的关系，控制所述激活运算单元对由所述输入接口从所述激活装置外部一次性接收到的待激活神经元进行分批激活处理，并由所述输出接口将激活处理的结果输出所述激活装置；其中，所述激活控制单元根据划分的批次的数量、以及各个批次的神经元的加载地址，产生用于控制所述激活运算单元执行激活操作的控制操作，生成控制编码；以及，所述神经元暂存单元依据来自所述激活控制单元的控制编码向所述激活运算单元传输待激活神经元，以执行神经元的激活操作；

所述激活运算单元、神经元暂存单元、激活控制单元、输入接口以及输出接口的输入输出带宽是可调整的；其中，所述激活装置从外部获得关于输入带宽的参数信息，或者默认将所述输入带宽设置为固定值。

2.根据权利要求1所述的激活装置，其中所述激活运算单元中的至少一个为ReLU激活运算电路，包括：

至少一个取非元件，以及N-1个选通元件；

其中，N为待激活神经元值的比特位数，所述取非元件以所述N比特的待激活神经元值中的1比特的符号位为输入并且其输出被连接至所述N-1个选通元件中的每一个的控制位，所述N-1个选通元件中的每一个分别以所述待激活神经元值中的其余N-1个数值位为输入；

所述ReLU激活运算电路以所述待激活神经元值中的1比特的符号位、以及所述N-1个选通元件中的每一个的输出作为其输出。

3.根据权利要求1所述的激活装置，其中所述激活控制单元还用于根据所述神经网络处理器的待激活神经元的输入带宽控制所述输入接口开始以及暂停对待激活神经元的接收。

4.根据权利要求1或2所述的激活装置，其中所述激活控制单元控制所述激活运算单元对由所述输入接口从所述激活装置外部一次性接收到的待激活神经元进行分批激活处理所划分的批次的数量等于对所述一次性输入所述激活装置的待处理数据量除以全部所述激活运算单元可同时处理的最大数据量的结果取整。

5.一种用于神经网络处理器的激活方法，所述神经网络处理器包括如权利要求1-4中任意一项所述的用于神经网络处理器的激活装置；

所述方法包括：1)根据所述神经网络处理器一次性产生的待激活神经元的数据量以及所述激活运算单元的处理能力之间的关系，对所述神经网络处理器一次性产生的待激活神经元进行分批处理；

2)根据分批处理的结果，依次将相应批次的待激活神经元提供至所述激活运算单元进行激活处理。

6.根据权利要求5所述的方法，其中对所述神经网络处理器一次性产生的待激活神经元进行分批处理所划分的批次的数量等于对所述一次性产生的待激活神经元的数据量除以全部所述激活运算单元可同时处理的最大数据量的结果取整。

7.一种计算机可读存储介质，其中存储有计算机程序，所述计算机程序在被执行时用于实现如权利要求5-6中任意一项所述的方法。

8.一种用于对神经网络中待激活神经元进行激活的系统，包括：

神经网络处理器、和存储装置，

其中，所述神经网络处理器包括如权利要求1-4中任意一项所述的用于神经网络处理器的激活装置；

所述存储装置用于存储计算机程序，所述计算机程序在被所述处理器执行时用于实现如权利要求5-6中任意一项所述的方法。