[发明专利]一种基于FPGA的卷积神经网络前向预测的硬件加速实现装置

摘要

本发明公开了一种基于FPGA的卷积神经网络前向预测的硬件加速实现装置，针对一个具体的精简优化的卷积神经网络Hcnn，对其前向预测过程进行硬件装置的研究与实现。此装置基于优化的脉动阵列实现卷积神经网络的主要运算单元，综合考虑运算处理时间和资源消耗，利用并串转化，数据分片和流水线设计等方法，以做到尽可能大的并行度和尽可能少的资源消耗为原则，以并行的流水线形式实现了Hcnn卷积神经网络的前向预测过程。充分利用了FPGA的数据并行和流水线并行的特点。脉动阵列结构平衡了IO读写与计算，在消耗较少的存储带宽下提高了吞吐率，有效地解决了数据访存速度远大于数据处理速度的卷积神经网络FPGA实现的问题。

主权项

1.一种基于FPGA的卷积神经网络前向预测的硬件加速实现架构，其特征在于，由2个卷积层结构、2个池化层结构和2个全连接层结构组成，卷积层1、池化层1、卷积层2、池化层2、全连接层1、全连接层2顺次连接，原始输入特征数据以并行的流水线方式依次经过卷积层1、池化层1、卷积层2、池化层2、全连接层1和全连接层2；卷积层1与卷积层1均包含若干个并行的卷积处理单元CONV_PE和激活函数Relu单元，原始输入特征数据通过卷积处理单元CONV_PE与卷积核作卷积操作后，再通过激活函数Relu单元输出特征数据；池化层1与池化层2均包含若干个并行的池化处理单元Maxpooling_PE，特征数据通过池化处理单元Maxpooling_PE完成池化操作；全连接层1与全连接层2包含若干个并行的全连接处理单元FC_PE，输入特征数据通过全连接处理单元FC_PE完成全连接操作；卷积处理单元CONV_PE用于完成一个输入特征图与一个卷积核的卷积操作，通过基于移位寄存器的串矩转换结构实现，包括L₁×L₁个处理单元PE_CONV组成的脉动阵列、L₁‑1个移位寄存器、1个加法器、1个有效控制单元；L₁×L₁个处理单元PE以L₁行L₁列的形式排列，L₁‑1个移位寄存器首尾相连；前一个移位寄存器的输出端与后一个移位寄存器的第二输入端相连；脉动阵列中，每一行的处理单元PE_CONV依次串联，每一个行中一个处理单元PE_CONV的第一输出端、第二输出端分别与下一个处理单元PE的第一输入端、第二输出端对应相连；输入卷积处理单元CONV_PE的特征数据的矩阵大小matrix_len分别输入至L₁‑1个移位寄存器的控制端；输入卷积处理单元CONV_PE的特征数据din_x分别输入至脉动阵列中第一行第一列的处理单元PE_CONV的第二输入端以及第1个移位寄存器的输入端；脉动阵列中每一个行第一列处理单元PE_CONV的第一输入端的输入为0；第l个移位寄存器的输出端还与脉动阵列中第l+1行的第一列处理单元PE_CONV的第二输入端相连，l＝1,…,L₁；脉动阵列中每一行最后一列的处理单元PE_CONV的第一输出端与加法器输入端相连，加法器对L₁个输入求和后输出至有效控制单元；有效控制单元用于剔除无效的操作矩阵；卷积处理单元CONV_PE中每一个处理单元PE_CONV包括1个加法器、1个乘法器，2个寄存器，处理单元PE_CONV的第一输入端分别与第一寄存器的输入端以及乘法器的一个输入端相连，乘法器的另一个输入端接收输入的权值；加法器的一个输入端与乘法器的输出端相连，另一个输入端与处理单元PE_CONV的第二输入端相连，加法器的输出端与第二寄存器的输入端相连；第一寄存器的输出端与处理单元PE_CONV的第一输出端相连，第二寄存器的输出端与处理单元PE_CONV的第二输出端相连。