[发明专利]一种基于FPGA的二值神经网络加速方法及系统

权利要求书

1.一种基于FPGA的二值神经网络加速系统，该系统包括利用FPGA形成的卷积核参数获取模块、二值化卷积神经网络结构和缓存模块，所述缓存模块为FPGA的片上内存，其特征在于，

所述卷积核参数获取模块用于获取待处理图片的输入特征图，利用卷积神经网络模型在已有的数据集上进行二值化训练，得到卷积计算逻辑规则和多个卷积核参数，所述卷积计算逻辑规则包括多个线程的卷积计算；

所述缓存模块用于调取所述卷积计算逻辑规则和多个卷积核参数，依据卷积计算逻辑规则将多个卷积核参数存储于FPGA的片上内存，缓存模块还用于缓存卷积基本计算模块的计算结果和待处理图片数据；

所述二值化卷积神经网络结构用于调取卷积计算逻辑规则生成多个卷积基本计算模块，多个卷积基本计算模块依据卷积计算逻辑规则建立相应的连接关系，一个线程的卷积计算对应多个卷积基本计算模块，多个卷积核参数与多个卷积基本计算模块一一对应；

所述卷积基本计算模块用于依据卷积计算逻辑规则，读取缓存模块中的当前线程的上一卷积基本计算模块的计算结果、当前滑动窗口内的待处理图像的输入特征图和FPGA的片上内存中的对应卷积核数据，依次进行预设的卷积计算顺序得到当前卷积基本计算模块的计算结果，并将当前卷积基本计算模块的计算结果存储于对应的缓存区；所述预设的卷积计算顺序为依次进行卷积、PRelu激活、正则归一化和二值激活计算，或者依次进行卷积、PRelu激活、池化、正则归一化和二值激活计算；

FPGA依据卷积计算逻辑规则遍历多个线程的卷积计算，得到待处理图像的输出特征图数据，以提高待检测图像的检测速度。

2.根据权利要求1所述的一种基于FPGA的二值神经网络加速系统，其特征在于，FPGA通过ARM端配置相应的控制寄存器，通过AXI总线从外部存储器DDR3中加载图像到片上内存的缓冲区；FPGA为卷积基本计算模块分配多个处理引擎，所述处理引擎包括算术运算组件、逻辑运算组件、位运算组件和存储资源。

3.根据权利要求2所述的一种基于FPGA的二值神经网络加速系统，其特征在于，依据预设的卷积计算顺序将卷积计算层分类为卷积层、PRelu激活层、池化层、正则归一化层和二值激活层，分别用于卷积、PRelu激活、池化、正则归一化和二值激活计算，利用位于同一个卷积计算层的多个计算引擎形成一个卷积加速阵列，一个卷积加速阵列利用FPGA的一个PE模块实现。

4.根据权利要求3所述的一种基于FPGA的二值神经网络加速系统，其特征在于，缓存模块分别为一个卷积计算阵列设置对应的第一缓存区和第二缓冲区，所述第一缓存区用于存储上一个卷积加速阵列的运算结果，所述第二缓冲区用于存储对应的卷积加速阵列的运算结果。

5.根据权利要求3所述的一种基于FPGA的二值神经网络加速系统，其特征在于，所述池化层的计算实现过程为：将池化层的滑动窗口对应的列向量进行SIMD向量化，并对所有列向量求各自的最大值后组成一个新的向量，并将新的向量作为输出特征图的数据。

6.根据权利要求5所述的一种基于FPGA的二值神经网络加速系统，其特征在于，池化层的不同滑动窗口存在相同的列向量时，将所述相同的列向量的计算结果放入一个LUT暂存，下一个滑动窗口进行所述相同的列向量计算时直接调用LUT中的暂存值。

7.根据权利要求3所述的一种基于FPGA的二值神经网络加速系统，其特征在于，FPGA依据卷积计算逻辑规则对每一个卷积计算层设置有一个矩阵向量乘法单元，所述矩阵向量乘法单元包括多个计算引擎，所述计算引擎包括多个并行的单指令多数据流通通道，所述计算引擎用于获取多个并行的单指令多数据流通通道对应的待处理图片的输入特征图，与卷积核参数相对应的不同过滤器进行乘法累加运算。