[发明专利]基于数据流的卷积神经网络权重梯度优化方法

说明书

本发明公开了一种基于数据流的卷积神经网络权重梯度优化方法，为卷积神经网络权重梯度优化提供一种可配置的数据流架构设计，使其可以支持权重梯度计算中的不同尺寸的卷积运算，实现并行度是串行输入的K×K(卷积核大小)倍，提升整个卷积神经网络训练的性能，解决了权重梯度计算中存在的不同尺寸卷积运算难以实现的问题。与现有技术相比，本发明1)加速效果明显：对于权重梯度计算来说，其并行度较原有的串行方案提升了K×K的并行度，显著地降低数据输入的传输时间，从而达到了加速整个网络训练的目的，并且较通用矩阵乘的方案可以减少1‑1/(K×K)％的输入存储；2)并且同时满足适用性和通用性。

技术领域

本发明属于信息技术领域、卷积神经网络训练硬件加速领域，尤其涉及基于低功耗、高性能的卷积神经网络训练。

背景技术

卷积神经网络(Convolutional Neural network,CNN)作为一种前馈神经网络，被广泛应用于计算机视觉、自然语言处理等各大领域。随着CNN的网络规模、训练数据集日益增大，CNN的训练需要巨大的算能、存储空间和功耗。CNN的训练包含卷积模块的正向传播、反向传播的计算。目前学业界和工业界对正向传播的硬件实现已经提出了诸多方案，但是欠缺对反向传播的硬件实现。反向传播包含对输入图像梯度的计算和对权重梯度的计算，其计算量是正向传播的两倍。加速反向传播对提升卷积神经网络训练十分必要。其中对输入图像梯度的计算与正向传播类似，不同之处在于额外增加了旋转180°操作且累加维度不同。因此通过数据预处理的方式对卷积核进行维度转换，将输出图像梯度与卷积核输入正向传播的数据流模块，即可实现对输入图像梯度的计算。然而对权重梯度的计算涉及到不同尺寸卷积的运算，给硬件设计造成了一定的难度，难以在速度和资源上权衡，这成为硬件实现卷积神经网络训练加速的主要瓶颈。

权重梯度计算公式如下：

式中：dW_ij(x,y)为第j个卷积核中第i个通道的(x,y)处的权重梯度；F_i(x+p,y+q)表示为第i张输入图像在(x+p,y+q)处特征值；dO_j(p,q)表示为第j个输出图像在(p,q)处的特征值梯度；OH、OW表示为输出图像的长宽。

分析上式可知，权重梯度的计算涉及到了输入图像与输出图像梯度之间不同尺寸卷积的计算，目前针对这类权重梯度计算的方式主要有两种。以单个卷积K＝3为例：

一种是通过串行读取输入图像的方式，取出对应的矩阵与输出图像梯度矩阵进行运算，共重复K×K次。如图2所示，卷积核的第一个数由左一的矩阵与右侧输出图像梯度进行卷积运算获得。第二个数由左二的矩阵与右侧输出图像梯度进行卷积运算获得，依次类推。这种方案存在两个缺点：一是需要重复读取K×K次，二是求取对应梯度时，不参与运算的数据读取耗费时间。

另一种则是在利用矩阵通用乘的方法进行加速。其主要通过im2col操作，根据卷积窗口的大小，将图像转化成矩阵，通过对矩阵乘进行并行加速，获得整体训练的加速。这种方式耗费大量的存储资源和传输时间。

为进一步提升计算性能和降低存储资源，获得更优性能，提出一种针对权重梯度的优化方案非常重要。

发明内容

本发明旨在提出了一种基于数据流的卷积神经网络权重梯度优化方法，为卷积神经网络权重梯度优化提供一种可配置的数据流架构设计，使其可以支持权重梯度计算中的不同尺寸的卷积运算，实现并行度是串行输入的K×K(卷积核大小)倍，提升整个卷积神经网络训练的性能，解决了权重梯度计算中存在的不同尺寸卷积运算难以实现的问题。

本发明的基于数据流的卷积神经网络权重梯度优化方法，该方法具体包括如下步骤：

步骤1、将输入图像传输给行缓存模块与列缓存模块，拼接成(H-K+1)×(H-K+1)个K×K的卷积核大小进行周期性输出；其中的行缓存模块由K-1个FIFO构成，列缓存模块由移位寄存器构成；