[发明专利]用于神经网络中的计算核

说明书

本公开提供了一种用于神经网络中的计算核。该计算核包括：张量引擎，所述张量引擎在所述神经网络的反向方向上，在所述神经网络的多个中间层中的一个中间层，利用第一核函数计算另一中间层的反向传播激励，并且利用第二核函数计算所述中间层的反向传播权重，其中所述另一中间层是所述中间层之后的一层或多层。

技术领域

本公开概括而言涉及神经网络计算领域，更具体地，涉及一种用于神经网络中的计算核。

背景技术

当前，神经网络已经广泛应用于图像分类、对象识别等领域。在这些领域中，可以利用预先获取的图像样本等对神经网络进行训练，以得到相应的训练后的神经网络模型。该训练后的神经网络模型可以用于对新的图像数据进行识别或分类等。

神经网络的训练是一个复杂的过程，网络的前面层的微小的改变都会累积放大到后面的层，从而前面层训练参数的更新将导致后面层输入数据分布的变化。为此，在神经网络中引入了批量归一化(Batch Normalization,BN)的概念，其中在对每一层的输入数据进行处理之前，首先对这些输入数据进行批量归一化，以将输入数据的特征强制性地变换到均值为0、方差为1的数学模型下。

神经网络的各个层的尺寸可能不同，在同一层计算该层的反向传播激励和反向传播权重可能造成运算负载不稳定以及对存储空间的需求不平衡。

此外，在前向方向上总是存储各个子层的输出数据不仅占用较多存储空间，而且有可能增大反向方向上读取这些输出数据的时间开销。

发明内容

针对上述问题，本公开提供了一种用于神经网络中的计算核，其通过交错地执行反向传播激励和反向传播权重的计算，能够平衡运算负载以及对存储空间的需求。

根据本公开的一个方面，提供了一种用于神经网络中的计算核。该计算核包括：张量引擎，所述张量引擎在所述神经网络的反向方向上，在所述神经网络的多个中间层中的一个中间层，利用第一核函数计算另一中间层的反向传播激励，并且利用第二核函数计算所述中间层的反向传播权重，其中所述另一中间层是所述中间层之后的一层或多层。

在一些实施例中，所述第一核函数不同于所述第二核函数。

在一些实施例中，所述张量引擎的计算是张量或矩阵运算，并且所述计算核还包括：矢量引擎，所述矢量引擎与所述张量引擎的张量或矩阵运算并行地执行非张量和矩阵运算。

在一些实施例中，所述矢量引擎与所述反向传播权重的计算并行地，基于所述反向传播激励对所述中间层的激活子层和BN子层的参数进行更新。

在一些实施例中，在所述中间层的反向卷积子层，所述张量引擎利用所述第一核函数，基于所述中间层的权重值和反向传播激励计算所述另一中间层的反向传播激励，并且利用第二核函数，基于所述中间层产生的激励和所述中间层的前一中间层的反向传播权重计算所述中间层的反向传播权重。

在一些实施例中，其中所述张量引擎还将所述中间层的反向传播激励存储在寄存器中。

在一些实施例中，所述计算核还包括：片上缓存，所述片上缓存包括第一缓存，用于缓存计算所述反向传播激励所需的数据，和第二缓存，用于缓存计算所述反向传播权重所需的数据，并且所述张量引擎交错地从所述第一缓存和所述第二缓存读取数据。

在一些实施例中，所述计算核被配置为：在所述神经网络的前向方向上，基于装载所述中间层的一个中间子层的输入数据的成本、利用所述中间子层的输入数据计算输出数据的成本以及装载所述中间子层的输出数据的成本来确定是否存储所述中间子层的输出数据；如果确定存储所述中间子层的输出数据，在得到所述中间子层的输出数据之后将所述中间子层的输出数据缓存到所述计算核的片上缓存和/或存储到片外存储器中；以及如果确定不存储所述中间子层的输出数据，在得到所述中间子层的输出数据之后将所述中间子层的输出数据缓存到所述计算核的片上缓存或寄存器，以供下一中间层或下一中间子层立刻使用。