[发明专利]一种基于FPGA的并行卷积神经网络加速器及加速方法

权利要求书

1.一种基于FPGA的并行卷积神经网络加速器，其特征在于，包括：FPGA模块和数据预处理模块，所述FPGA模块内设有对输入数据进行卷积神经网络运算的卷积核；所述数据预处理模块内设有对输入数据进行行对齐转换的线性储存器；所述数据预处理模块根据输入图像尺寸及所述卷积核的大小，对图像数据进行数据对齐预处理，生成卷积矩阵，并行输入到所述FPGA模块的卷积核中。

2.根据权利要求1所述的基于FPGA的并行卷积神经网络加速器，其特征在于，所述FPGA模块包括：N个卷积计算单元、N个结果缓存区、N个卷积核权值系数缓存区以及N个备用单元；每个所述卷积计算单元包括M个所述卷积核；每个所述卷积核的大小为K×K；每个所述结果缓存区缓存一个所述卷积计算单元的计算结果；其中：K值为所述卷积核的边长，其根据实现的神经网络的需求选取；M、N值在FPGA板上资源允许的范围内，M选择输出图像边长可以整除的数；K、M、N同时满足下式条件：(K×K)_mult×M×N≤MULT_sum，式中MULT_sum为所述FPGA模块中的DSP资源与LUT资源之和；(K×K)_mult为实现一个K×K大小的卷积计算所消耗的资源。

3.根据权利要求2所述的基于FPGA的并行卷积神经网络加速器，其特征在于，所述结果缓存区采用双FIFO缓存器架构。

4.一种基于FPGA的并行卷积神经网络加速方法，其特征在于，采用内设卷积核的FPGA模块对输入的图像数据进行卷积神经网络运算；在运算前，采用内设线性储存器的数据预处理模块，根据输入图像尺寸和FPGA模块内卷积核的大小，对输入的图像数据进行数据对齐预处理，生成卷积矩阵，并行输入到FPGA模块的卷积核中。

5.根据权利要求4所述的基于FPGA的并行卷积神经网络加速方法，其特征在于，所述FPGA模块内设置N个卷积计算单元、N个结果缓存区、N个卷积核权值系数缓存区以及N个备用单元；每个卷积计算单元内设置M个卷积核；每个卷积核的大小设置为K×K；每个结果缓存区缓存一个卷积计算单元的计算结果；其中：其中：K值为所述卷积核的边长，其根据实现的神经网络的需求选取；M、N值在FPGA板上资源允许的范围内，M选择输出图像边长可以整除的数；K、M、N同时满足下式条件：(K×K)_mult×M×N≤MULT_sum，式中MULT_sum为所述FPGA模块中的DSP资源与LUT资源之和；(K×K)_mult为实现一个K×K大小的卷积计算所消耗的资源。

6.根据权利要求5所述的基于FPGA的并行卷积神经网络加速方法，其特征在于，当处理的图像边长不是并行度的整数倍时，对输入的图像数据进行无效数据补充，以使其边长可以整除。

7.根据权利要求5所述的基于FPGA的并行卷积神经网络加速方法，其特征在于，多个卷积核在同一张图片上进行滑动卷积，经所述数据预处理模块处理后的图像数据被映射到N个卷积计算单元。

8.根据权利要求5所述的基于FPGA的并行卷积神经网络加速方法，其特征在于，同一个卷积计算单元内的卷积核的权值系数相同，不同卷积计算单元内的卷积核的权值系数相互独立；先将不同卷积计算单元的卷积核的权值系数分别对应缓存在N个卷积核权值系数缓存区内，再映射到N个卷积计算单元。

9.根据权利要求5所述的基于FPGA的并行卷积神经网络加速方法，其特征在于，一个输入图像通道的卷积结果计算完毕后，暂存输出至结果缓存区，并使用结果缓存区的加法器与下一个输入图像通道的计算结果进行累加，结果缓存区的存储数据更新为累加值，重复累加直到全部输入图像通道计算完毕后，结果缓存区输出计算结果。

10.根据权利要求5所述的基于FPGA的并行卷积神经网络加速方法，其特征在于，结果缓存区采用双FIFO缓存器；其中一个FIFO缓存器用于存历史数据，另一个FIFO缓存器用于存当前数据。