[发明专利]用于神经网络中的计算核

权利要求书

1.一种用于神经网络中的计算核，包括：

张量引擎，所述张量引擎在所述神经网络的反向方向上，在所述神经网络的多个中间层中的一个中间层，利用第一核函数计算另一中间层的反向传播激励，并且利用第二核函数计算所述中间层的反向传播权重，

其中所述另一中间层是所述中间层之后的一层或多层。

2.如权利要求1所述的计算核，其中所述第一核函数不同于所述第二核函数。

3.如权利要求1所述的计算核，其中所述张量引擎的计算是张量或矩阵运算，并且所述计算核还包括：

矢量引擎，所述矢量引擎与所述张量引擎的张量或矩阵运算并行地执行非张量和矩阵运算。

4.如权利要求3所述的计算核，其中所述矢量引擎与所述反向传播权重的计算并行地，基于所述反向传播激励对所述中间层的激活子层和BN子层的参数进行更新。

5.如权利要求1所述的计算核，其中在所述中间层的反向卷积子层，所述张量引擎利用所述第一核函数，基于所述中间层的权重值和反向传播激励计算所述另一中间层的反向传播激励，并且利用第二核函数，基于所述中间层产生的激励和所述中间层的前一中间层的反向传播权重计算所述中间层的反向传播权重。

6.如权利要求1所述的计算核，其中所述张量引擎将所述中间层的反向传播激励存储在寄存器中。

7.如权利要求1所述的计算核，还包括：

片上缓存，所述片上缓存包括第一缓存，用于缓存计算所述反向传播激励所需的数据，和第二缓存，用于缓存计算所述反向传播权重所需的数据，并且

所述张量引擎交错地从所述第一缓存和所述第二缓存读取数据。

8.如权利要求1所述的计算核，其中所述计算核被配置为：

在所述神经网络的前向方向上，基于装载所述中间层的一个中间子层的输入数据的成本、利用所述中间子层的输入数据计算输出数据的成本以及装载所述中间子层的输出数据的成本来确定是否存储所述中间子层的输出数据；

如果确定存储所述中间子层的输出数据，在得到所述中间子层的输出数据之后将所述中间子层的输出数据缓存到所述计算核的片上缓存和/或存储到片外存储器中；以及

如果确定不存储所述中间子层的输出数据，在得到所述中间子层的输出数据之后将所述中间子层的输出数据缓存到所述计算核的片上缓存或寄存器，以供下一中间层或下一中间子层立刻使用。

9.如权利要求8所述的计算核，其中所述计算核还存储所述中间子层之前的另一中间子层的输出数据。

10.如权利要求9所述的计算核，其中在所述神经网络的反向方向上，所述计算核利用所存储的所述另一中间子层的输出数据计算所述中间子层的输出数据。

11.如权利要求8所述的计算核，其中所述中间子层是所述中间层的激活子层，并且所述另一中间子层是所述中间层的卷积子层或者BN子层。

12.如权利要求11所述的计算核，其中在所述另一中间子层是所述中间层的卷积子层的情况下，在反向方向上，所述计算核利用所述卷积子层的输出数据计算反向BN子层的输出数据以进一步计算所述中间层的BN子层的参数的梯度值。

13.如权利要求11所述的计算核，其中在所述另一中间子层是所述中间层的BN子层的情况下，在反向方向上，所述计算核对所述中间层的BN子层的输出数据进行BN逆运算，并且基于BN逆运算的结果计算反向BN子层的输出数据以进一步计算所述中间层的BN子层的参数的梯度值。

14.如权利要求7所述的计算核，其中所述计算核被配置为基于装载所述中间子层的输入数据的成本与计算所述中间子层的输出数据的成本之和是否小于装载所述中间子层的输出数据的成本来确定是否存储所述中间子层的输出数据。

15.如权利要求14所述的计算核，其中

装载所述中间子层的输入数据的成本取决于所述输入数据的数据量和所述输入数据的存储位置；

装载所述中间子层的输出数据的成本取决于所述输出数据的数据量和所述输出数据的存储位置；以及

计算所述输出数据的成本取决于所述中间子层的总的操作数和所述计算核的硬件数据通道宽度。