[发明专利]神经网络计算模块、方法和通信设备

说明书

本发明提供了一种神经网络计算模块、方法和通信设备，属于数据处理领域，具体包括数据控制器、数据提取器、第一移位寄存器组和神经网络计算单元，所述数据控制器根据配置信息和指令信息调整数据通路，控制所述数据提取器按行从待处理图像的特征图数据提取特征行数据和卷积核行数据；所述第一移位寄存器组采用串行输入并行输出的方式将所述特征行数据输出至所述神经网络计算单元；所述神经网络计算单元将输入的所述特征行数据和所述卷积核行数据对应进行乘法运算和累加运算，完成一个卷积核与所述特征图数据的卷积运算，并在至少一个周期完成多个卷积结果的累加，从而实现电路重构以及数据复用。

技术领域

本发明涉及数据处理领域，具体涉及一种神经网络计算模块、方法和通信设备。

背景技术

卷积神经网络由输入层(inputlayer)、任意数量的作为中间层的隐藏层(hiddenlayer)及输出层(outputlayer)构成。输入层(inputlayer)具有多个输入节点(神经元)。输出层具有识别对象数量的输出节点(神经元)。

卷积核是一个设置在隐藏层的小窗口，其中保存着权重参数。卷积核在输入图像上按步长依次滑动，和对应区域的输入特征图像进行乘加运算，即将卷积核中的权重参数和对应的输入图像的值先相乘再求和。传统的卷积加速运算装置需要利用img2col方法对输入的特征图数据和卷积核数据按照卷积核尺寸及步长参数进行矩阵形式的展开处理再对展开后的矩阵进行运算，从而可按照矩阵乘法运算规则进行卷积加速，但这种方法在特征数据矩阵展开后，需要较大的片上缓存，同理需要更多的片外主存读取频率以及不能高效复用以读取的数据从而需要占用了片外访存读写带宽增加了硬件功耗，同时基于img2col展开方式的卷积加速运算方法不利于对不同尺寸卷积核和步长的卷积运算的硬件逻辑电路实现，因此，在卷积网络运算过程中，每个输入通道都需要和多个卷积核进行卷积矩阵运算，特征图数据需要多次获取；而且每个通道上的所有特征图数据全部缓存在缓存器中，数据量不仅庞大，而且当进行卷积矩阵计算时，由于矩阵转换后的特征数据大小远远超过原特征数据大小，不仅会浪费片上存储资源，因而无法执行大数据量的运算。

发明内容

因此，为了克服上述现有技术的缺点，本发明提供一种神经网络计算模块、方法和通信设备。

为了实现上述目的，本发明提供一种神经网络计算模块，包括：数据控制器、数据提取器、第一移位寄存器组和神经网络计算单元，所述数据控制器根据配置信息和指令信息调整数据通路，控制所述数据提取器按行从待处理图像的特征图数据提取特征行数据和卷积核行数据；所述第一移位寄存器组采用串行输入并行输出的方式将所述特征行数据输出至所述神经网络计算单元；所述神经网络计算单元将输入的所述特征行数据和所述卷积核行数据对应进行乘法运算和累加运算，完成一个卷积核与所述特征图数据的卷积运算，并在至少一个周期完成多个卷积结果的累加，从而实现电路重构以及数据复用。

在其中一个实施例中，所述神经网络计算模块还包括第二移位寄存器组，所述第二移位寄存器组采用串行输入并根据步长择一输出的方式将所述卷积核行数据输出至所述神经网络计算单元的当前卷积运算乘加阵列和下一级卷积运算乘加阵列。

在其中一个实施例中，所述神经网络计算单元包括乘加子单元与部分和缓存子单元，所述乘加子单元将输入的所述特征行数据和所述卷积核行数据对应进行乘法运算，并与所述部分和缓存子单元中的卷积行部分和数据进行累加运算，当完成所述卷积核行数据与对应卷积窗口的所述特征行数据的卷积操作时，将所述卷积窗口的多个行卷积结果部分和累加，实现卷积核的一个滑窗卷积操作；每组不同级的卷积运算乘加阵列在一个卷积行周期输出行运算结果给累加器，所述累加器通过加法树将当前卷积核所有行对应的各组同级所述卷积运算乘加阵列输出的所述行运算结果累加，从而实现一个卷积核的卷积运算。

在其中一个实施例中，神经网络计算单元包括多个神经网络加速分片，每个神经网络加速分片包含多个所述卷积运算乘加阵列，每个神经网络加速分片至少完成一个输入通道的特征图数据与一个卷积核数据的卷积运算，多个神经网络加速分片完成多个输入通道的特征图数据与一个卷积核数据的卷积运算。