[发明专利]一种基于FPGA的轻量级CNN模型计算加速器

说明书

一种基于FPGA的轻量级CNN模型计算加速器,涉及硬件加速技术领域,针对现有技术中的加速器存在运行速度慢的问题，包括：权值缓存区、归一化层、卷积层、池化层、全连接层和Softmax分类器；本发明利用FPGA的快速并行计算和低功耗、灵活性强的特点，进行了针对使用深度可分离卷积结构的轻量级网络的CNN加速器设计，可以帮助将神经网络部署在资源受限的使用场合，大幅提升算法的计算效率，加快了算法的运算速度。

技术领域

本发明涉及硬件加速技术领域，具体为一种基于FPGA的轻量级CNN模型计算加速器。

背景技术

卷积神经网络(Convolutional Neural Networks,CNN)是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一，目前被广泛应用于图像识别、语言识别等领域，取得了显著的成果。但是在CNN检测准确度越来越高的同时，其深度、尺寸和相应的计算复杂度也在成倍增加。目前主流的神经网络模型的尺寸往往在几十到几百兆字节(Mbyte，即MB)，需要存储几百万乃至上亿的参数，进行几亿乃至上百亿次的乘加运算。如此大尺寸的网络对底层的硬件提出了存储和运算速度的挑战，难以移植到资源受限的移动端或嵌入式芯片中进行实时推理计算。为此，人们提出了许多种新型的卷积运算，比如分组卷积(Group convolution)、空洞卷积(Dilated convolution)和深度可分离卷积(Depthwise separable convolution)等等。在这其中，深度可分离卷积可以显著降低卷积运算过程中的参数量和计算复杂度，越来越来受到人们青睐。基于深度可分离卷积结构形成了以MobileNet系列为代表的新型轻量级神经网络，更加适合于部署在资源受限的嵌入式平台。但是这些神经网络仍有着庞大的计算需求和存储要求，如果直接在串行处理的CPU上进行训练推理，其实现效率依旧会非常低，无法满足很多实时应用的需求。在此前提下，为了加快运算速度和降低功耗，需要设计专用处理器进行硬件加速，对网络模型的各个部分进行优化加速。

目前常用于硬件加速器设计的专用处理器平台有三种：GPU、ASIC和FPGA，而这其中，FPGA有着高性能、低功耗、可重配置等特点，非常适用于流式的计算密集型任务。FPGA是一种可自定义的半定制电路，具有强大的并行计算能力，非常契合CNN的计算特点，可以充分利用算法网络内部的并行性，实现数据流水线并行；灵活的设计方法也适合于神经网络多变的网络结构，可以为不同的结构设计实现完全优化的电路；除此之外，它还具有较低的功耗。

综上所述，计算密集型的CNN模型尺寸大、储存参数多、运算复杂度高，在移动端或嵌入式平台难以直接部署。而基于深度可分离卷积结构的轻量级网络虽然大幅降低了模型尺寸和计算复杂度，但是它使用的深度可分离卷积结构与普通卷积结构有很大不同，目前还没有针对此结构的专用加速器设计，直接部署在嵌入式平台上，其运行速度和功耗也难以满足实际任务的需求。

发明内容

本发明的目的是：针对现有技术中的加速器存在运行速度慢的问题，提出一种基于FPGA的轻量级CNN模型计算加速器。

本发明为了解决上述技术问题采取的技术方案是：

一种基于FPGA的轻量级CNN模型计算加速器，包括：权值缓存区、归一化层、卷积层、池化层、全连接层和Softmax分类器；

所述权值缓存区用于缓存卷积运算过程中的权值参数；

所述归一化层用于对特征图数据进行归一化处理；

所述卷积层用于对归一化后的数据和权值缓存区的权值参数数据进行卷积操作；

所述池化层用于对卷积后的数据进行平均池化；

所述全连接层和Softmax分类器用于对池化后的数据进行分类；

所述卷积层包括输入行缓冲区、PE单元、BN单元和激活函数单元，