[发明专利]一种卷积神经网络的快速卷积及缓存模式的设计方法

说明书

本发明公开了一种卷积神经网络的快速卷积及缓存模式的设计方法，充分利用FPGA完成Winograd算法的设计，在3*3的卷积核尺寸下，乘法操作从36次减少到16次，可以充分利用DSP资源对卷积操作进行加速。通过特征图缓存以及流水线传输的方式，优化卷积滑窗操作时需要对重复行和列数据的缓存，提高缓存以及转化模块工作效率。通过配置参数实现矩阵转化模块的可重构设计。充分利用所节省的DSP资源，复用Winograd卷积计算阵列，充分利用FPGA的硬件资源，进一步提升卷积加速模块的计算能力，对点积步骤进行低功耗设计。

技术领域

本发明涉及卷积神经网络加速的技术领域，尤其涉及到一种卷积神经网络的快速卷积及缓存模式的设计方法。

背景技术

目前深度卷积神经网络(DCNNs)在图像分类、目标检测和语义分割等各种计算机视觉任务中都取得了显著的性能。

随着更大的数据集和模型出现，卷积神经网络的精度大幅提升，然而这需要以巨大的计算量和处理时间为代价。为了应对如此巨大的计算压力，GPU、FPGA和ASICS等硬件加速器已被广泛的应用于对CNNs的加速。

针对卷积神经网络计算量最大的卷积层，出现包括Winograd、FFT等加速卷积计算的算法，其中Winograd算法相对传统卷积，该算法可将算术复杂度降低4倍；与传统FFT卷积算法相比，Winograd算法对内存需求也较轻。这使得通过Winograd算法加速卷积运算成为可能。

发明内容

本发明的目的在于克服现有技术的不足，提供一种应用Winograd算法的卷积神经网络的快速卷积及缓存模式的设计方法。

为实现上述目的，本发明所提供的技术方案为：

一种卷积神经网络的快速卷积及缓存模式的设计方法，包括利用FPGA完成Winograd算法的设计、通过特征图缓存以及流水线传输的方式，优化卷积滑窗操作时需要对重复行和列数据的缓存以及通过配置参数实现矩阵转化的可重构设计。

进一步地，Winograd算法包括：

Winograd算法加速一维卷积计算：

对于输入为i＝[i₀ i₁ i₂ i₃]^T，卷积核为w＝[w₀ w₁ w₂]^T，卷积的表达式为：

其中，

将一维卷积的变换扩展到二维卷积，用矩阵形式表示为：

Y＝A^T[(GWG^T)⊙(B^TIB)]A

其中，Y、W、I分别表示输出特征图、权重、输入特征图，G、B、A分别表示权重转化矩阵、输入特征图转化矩阵、输出特征图转化矩阵。

进一步地，利用FPGA完成Winograd算法的设计中，包括顶层控制模块、Winograd卷积模块以及缓存模块；

其中，所述顶层控制模块包括流水线调度单元、控制指令解析单元、矩阵转换控制单元；

所述流水线调度单元，分为三级流水：第一级输入端口，包括输入缓存和权重缓存；第二级包括输入激活和权重的矩阵转换，以及winograd卷积；第三级输出端包括中间值缓存和输出缓存；

所述控制指令解析单元，将写入的控制指令进行解析，解析的控制指令包括缓存的数据结构参数、卷积尺寸、步长，根据需求发送到不同的模块或单元；