[发明专利]一种基于FPGA的并行卷积神经网络加速器及加速方法

说明书

本发明公开了一种基于FPGA的并行卷积神经网络加速器，包括：FPGA模块和数据预处理模块，所述FPGA模块内设有对输入数据进行卷积神经网络运算的卷积核；所述数据预处理模块内设有对输入数据进行行对齐转换的线性储存器；所述数据预处理模块根据输入图像尺寸及所述卷积核的大小，对图像数据进行数据对齐预处理，生成卷积矩阵，并行输入到所述FPGA模块的卷积核中。本发明还提供一种基于FPGA的并行卷积神经网络加速方法。本发明基于FPGA实现卷积神经网络加速，提高架构设计的通用性，适应多种输入图像尺寸，采用了数据对齐并行处理的方法实现数据层面的并行处理与传输，实现多卷积核并行计算。

技术领域

本发明涉及一种卷积神经网络加速器及加速方法，特别涉及一种基于FPGA的并行卷积神经网络加速器及加速方法。

背景技术

目前，近年来，深度学习极大促进了机器学习的发展，其强大的数据处理能力已被成功应用到了许多分析领域，而卷积神经网络就是一种出色的学习模型。然而由于庞大的数据存储以及数据处理已经使得通用处理器无法满足其需求.所以，为卷积神经网络算法设计出高效的专用处理单元迫在眉睫。因此具有较高性能和利用率的FPGA引起了人们极大的注意。

采用不同的架构设计方法会导致加速器不同的性能，例如国内研究中浙江大学的余子健等人通过分析卷积运算的并行特征，研究了激活函数的实现方式，采用流水结构，设计了基于主机+FPGA的模式的卷积神经网络加速器^[1]，但其并行度较低，所以导致数据处理速度也较低；Zhang等人提出的全精度卷积神经网络加速器，由于采用较高的全精度卷积神经网路加速器，数据传输速率较低，整体计算性能较低；Li等人提出了一种端到端的卷积神经网络加速器，即在FPGA上实现所有卷积层，这种方式充分利用了片上资源，但是只针对较小的神经网络。

发明内容

本发明的目的是为了克服现有技术中的不足，提供一种提高数据处理速度的基于FPGA的并行卷积神经网络加速器及加速方法；其采用数据并行处理与多卷积核并行计算的方式，充分利用了资源，提高了数据的处理速度。

本发明为解决公知技术中存在的技术问题所采取的技术方案是：一种基于FPGA的并行卷积神经网络加速器，包括：FPGA模块和数据预处理模块，所述FPGA模块内设有对输入数据进行卷积神经网络运算的卷积核；所述数据预处理模块内设有对输入数据进行行对齐转换的线性储存器；所述数据预处理模块根据输入图像尺寸及所述卷积核的大小，对图像数据进行数据对齐预处理，生成卷积矩阵，并行输入到所述FPGA模块的卷积核中。

进一步地，所述FPGA模块包括：N个卷积计算单元、N个结果缓存区、N个卷积核权值系数缓存区以及N个备用单元；每个所述卷积计算单元包括M个所述卷积核；每个所述卷积核的大小为K×K；每个所述结果缓存区缓存一个所述卷积计算单元的计算结果；其中：K值为所述卷积核的边长，其根据实现的神经网络的需求选取；M、N值在FPGA板上资源允许的范围内，M选择输出图像边长可以整除的数；K、M、N同时满足下式条件：(K×K)_mult×M×N≤MULT_sum，式中MULT_sum为所述FPGA模块中的DSP资源与LUT资源之和；(K×K)_mult为实现一个K×K大小的卷积计算所消耗的资源。

进一步地，所述结果缓存区采用双FIFO缓存器架构。

本发明还提供了一种基于FPGA的并行卷积神经网络加速方法，采用内设卷积核的FPGA模块对输入的图像数据进行卷积神经网络运算；在运算前，采用内设线性储存器的数据预处理模块，根据输入图像尺寸和FPGA模块内卷积核的大小，对输入的图像数据进行数据对齐预处理，生成卷积矩阵，并行输入到FPGA模块的卷积核中。