[发明专利]用于神经网络计算的计算设备和计算方法

说明书

本申请提供了一种用于神经网络计算的计算设备和计算方法，该计算设备包括：第一计算单元，用于对输入的第一矩阵执行M次第一操作，得到第二矩阵；第二计算单元，用于对输入的第二矩阵执行第二操作；控制单元，用于控制第一计算单元对第一矩阵执行M次第一操作中的第i次第一操作，得到第二矩阵的第i个数据元素；将第二矩阵的第i个数据元素存入第一存储单元中；如果第一存储单元当前存储的数据元素能够用于执行一次第二操作，控制第二计算单元执行一次第二操作。本申请提供的计算设备和计算方法能够降低用于神经网络计算的计算设备的存储开销。

技术领域

本申请涉及数据处理领域，并且更具体地，涉及一种用于神经网络计算的计算设备和计算方法。

背景技术

神经网络(如深度神经网络)在计算机视觉、自然语言处理、大数据挖掘等领域得到广泛应用。神经网络计算具有如下两个典型特点：

1)计算密集

神经网络主要进行的运算为多维矩阵乘法，其计算复杂度一般为O(N³)。例如，22层的googlenet一般需要6GFLOPS(Floating-point Operations Per Second，每秒所执行的浮点运算)的计算量。

2)访存密集

神经网络的训练过程一般需要海量的数据，训练过程需要大量的存储空间用于缓存神经元的连接权重以及各神经网络层计算得到的中间数据。

现有技术存在各式各样的专门用于神经网络计算的计算设备，如基于逻辑计算电路的计算设备或基于交叉阵列的计算设备。但是，现有技术中的用于神经网络计算的计算设备均需要大量的存储资源以存储各神经网络层运算得到的中间数据，对计算设备的存储容量要求较高，存储开销大。

发明内容

本申请提供一种用于神经网络计算的计算设备和计算方法，以降低用于神经网络计算的计算设备的存储开销。

第一方面，提供一种用于神经网络计算的计算设备，所述神经网络包括第K神经网络层和第K+1神经网络层，所述第K神经网络层执行的操作包括第一操作，所述第K+1神经网络层执行的操作包括第二操作，其中K为不小于1的正整数，所述计算设备包括：第一计算单元，用于对输入的第一矩阵执行M次所述第一操作，得到第二矩阵，M为不小于1的正整数；第二计算单元，用于对输入的所述第二矩阵执行所述第二操作；控制单元，用于：控制所述第一计算单元对所述第一矩阵执行所述M次第一操作中的第i次第一操作，得到所述第二矩阵的第i个数据元素，1≤i≤M；将所述第二矩阵的第i个数据元素存入第一存储单元中；如果所述第一存储单元当前存储的数据元素能够用于执行一次第二操作，控制所述第二计算单元执行一次第二操作；其中，所述第一操作为卷积操作，所述第二操作为卷积操作或池化操作，或所述第一操作为池化操作，所述第二操作为卷积操作。

现有技术中，在第K神经网络层完成计算之后，第K+1神经网络层才会开始计算，因此，计算设备需要存储第K神经网络层的全部计算结果，导致计算设备的存储开销大。本方案中，在第K神经网络层还未完成对输入矩阵的第一操作之前，如果第一存储单元已经存储了足够执行一次第二操作所需的数据元素，则可以控制第二计算单元执行一次第二操作。换句话说，本方案不要求第K神经网络层计算完成之后，再进行第K+1神经网络层的计算，一旦第一存储单元存储了能够用于执行一次第二操作所需的数据元素，就可以通过层间的流水控制机制，控制第K+1神经网络层执行一次第二操作，这样能够提高神经网络计算的效率。

进一步地，由于本方案在第K神经网络层计算完成之前，就会触发第K+1神经网络层进行计算，意味着第一存储单元无需同时存储第K神经网络层计算得到的的全部中间数据，仅需要存储第K神经网络层和第K+1神经网络层之间的部分中间数据，可以降低数据的存储开销。