[发明专利]一种基于FPGA的多并行策略卷积网络加速器

说明书

本发明公开了一种基于FPGA的多并行策略卷积网络加速器，涉及网络计算领域。本发明包括单层网络计算结构，所述单层网络计算结构包括BN层、卷积层、激活层和池化层，这四层网络形成流水线结构，BN层，对输入的数据进行合并；卷积层，进行大量的乘法以及加法运算；所述卷积层包括第一层卷积、中间层卷积和最后一层卷积，并且使用输入并行、像素并行以及输出并行中一种或者多种进行卷积运算；激活层以及池化层，将卷积层的输出结果进行流水计算；经过池化、激活后的最终结果存到随机存储器RAM中。本发明组合了三种并行结构，能分别任意配置不同的并行度，具备高度的灵活性，自由组合，实现较高的并行处理效率。

技术领域

本发明涉及网络计算领域，具体涉及一种基于FPGA的多并行策略卷积网络加速器。

背景技术

近年来，深度学习大大加速了机器学习和人工智能的发展且在各个研究领域和商业应用都取得了显著的成效。

现场可编程门列阵(Field Programmable Gate Array，FPGA)是深度学习算法嵌入式实现的首选平台之一。FPGA功耗低，有一定的并行度，并且FPGA专注于解决算法的实时性问题。

FPGA加速器可以分为定点型加速器和浮点型加速器。定点型加速器主要针对于卷积计算过程设计并行加速单元，实现高效的卷积计算。浮点型加速器同样也针对于卷积计算过程设计并行加速单元进行计算加速，或通过傅里叶变化，将卷积计算转换为更适合硬件并行实现的过程。浮点型加速器计算效率低于定点型加速器，而定点型加速器常忽略定点网络的精度问题。为了解决精度问题，现有的量化方法更多偏向于软件实现，不考虑FGPA的计算特点，计算复杂度较高，实现效率较低。

针对上述问题，现有办法为提出Google(IAO)，采用全整型(Integer ArithmeticOnly，IAO)方法计算表达网络的前向推理过程，既满足FPGA平台的计算特点，也保证网络量化后的精度，但存在计算冗余问题。所以，为了满足网络的推理计算速度，提出一种基于FPGA的多并行策略卷积网络加速器

发明内容

本发明的目的在于：提供了一种基于FPGA的多并行策略卷积网络加速器，组合了三种并行结构：输入并行、像素并行以及输出并行，这三种并行结构能分别任意配置不同的并行度，具备高度的灵活性，可针对不同的目标设备自由组合，实现较高的并行处理效率。

本发明采用的技术方案如下：

本发明是一种基于FPGA的多并行策略卷积网络加速器，包括单层网络计算结构，所述单层网络计算结构包括BN层、卷积层、激活层和池化层，这四层网络形成流水线结构，

BN层，对输入的数据进行合并；

卷积层，进行大量的乘法以及加法运算；所述卷积层包括第一层卷积、中间层卷积和最后一层卷积，并且使用输入并行、像素并行以及输出并行中一种或者多种进行卷积运算；

激活层以及池化层，将卷积层的输出结果进行流水计算；

经过池化、激活后的最终结果存到随机存储器RAM中。

进一步的，所述输入并行为利用特征模板并行处理N幅输入的特征图，输入特征图按照逐行逐列的顺序进入行缓存中，在每个行缓存的出口处获得特征模板大小的数据；

所述像素并行为同时完成多个连续像素的卷积过程，采用8bit像素策略；

所述输出并行能并行处理N幅输入特征图，相同的输入特征图与N组输出通道的权重计算卷积，得到不同的输出特征。

进一步的，所述特征模板大小设定为3×3。

进一步的，所述第一层卷积处理过程的特征模板大小为3×3，处理RGB图像，使用输入并行实现整个卷积过程；