[发明专利]降低CNN加速器首层卷积计算延时的方法及装置

说明书

本发明涉及硬件加速卷积神经网络领域，为通过优化首层卷积的计算模式，提高首层卷积计算并行度，从而有效降低首层卷积的计算延时。为此，本发明采取的技术方案是，降低CNN加速器首层卷积计算延时的方法及装置：计算首层卷积时，不仅从不同通道方向并行计算，同时，同一通道内的不同特征图块也并行计算；对于其他卷积层，仅从不同通道方向并行计算。本发明主要应用于集成电路设计制造场合。

技术领域

本发明涉及硬件加速卷积神经网络领域、尤其涉及卷积神经网络加速器的并行设计领域。具体涉及降低卷积神经网络加速器首层卷积计算延时的方法及装置。

背景技术

近些年来，卷积神经网络(Convolutional Neural Network,CNN)由于其较高的分类精度而广泛应用于图像分类，目标检测以及场景分割等计算机视觉任务^[1]。然而，常用的CNN模型计算量巨大，采用软件执行卷积神经网络算法将会是一项非常耗时的工作。因而出现了硬件加速CNN算法的设计方法。硬件加速器通过将神经网络算法映射到硬件，充分利用硬件的并行计算特性，达到减少计算延时，提高计算速度的目的。硬件加速器的芯片实现形式主要有数字芯片、模拟芯片、数模混合芯片和基于现场可编程门阵列(FieldProgrammable Gate Array，FPGA)的神经网络芯片。其中，基于FPGA的神经网络实现方案凭借其高速、低功耗、高灵活性等优点广受学界和工业界青睐。

目前，从架构上看，FPGA加速CNN的方案主要有：

1)流式架构^[2,3,4]：为网络的每一层设计一块电路，即全定制电路。由于流式架构中所有卷积层同时、并行地进行计算，因而能实现较高性能。但是，随着网络规模的增长，卷积层数的增加(例如，ResNet101多达101层)，为所有卷积层定制电路将会耗费大量的硬件资源以及功率开销，不符合嵌入式设备对于成本的要求。

2)单计算引擎架构^[5,6,7]：设计一个通用的计算引擎，网络的每一层均调用同一块电路进行计算。由于单计算引擎使用同一块电路满足了所有卷积层的计算要求，相比于全定制架构有效地节省了硬件资源，提高了电路的通用性，但其缺点也很明显：由于所有卷积层采用同样的计算模式，个别卷积层(尤其是首层卷积)按照该模式运算时,由于没有最大化地利用并行计算资源，导致计算效率低下，延时较大。

本发明的应用场景是移动嵌入式设备，因此采用单计算引擎架构以实现性能和成本的折中。主要针对单计算引擎首层卷积计算延时较大的问题进行优化，以期降低延时，提升硬件性能。

参考文献：

[1]Lu L,Liang Y.Spwa:An efficient sparse winograd convolutionalneural networks accelerator on FPGAs[C].2018 55th ACM/ESDA/IEEE DesignAutomation Conference.Piscataway:IEEE,2018:1-6.

[2]Venieris S I,Bouganis C S.fpgaConvNet:A framework for mappingconvolutional neural networks on FPGAs[C].2016IEEE 24th Annual InternationalSymposium on Field-Programmable Custom Computing Machines.Piscataway:IEEE,2016:40-47.

[3]Alemdar H,Leroy V,Prost-Boucle A,et al.Ternary neural networks forresource-efficient AI applications[C].2017International Joint Conference onNeural Networks.Piscataway:IEEE,2017:2547-2554.