[发明专利]一种基于FPGA的卷积神经网络前向预测的硬件加速实现装置

说明书

本发明公开了一种基于FPGA的卷积神经网络前向预测的硬件加速实现装置，针对一个具体的精简优化的卷积神经网络Hcnn，对其前向预测过程进行硬件装置的研究与实现。此装置基于优化的脉动阵列实现卷积神经网络的主要运算单元，综合考虑运算处理时间和资源消耗，利用并串转化，数据分片和流水线设计等方法，以做到尽可能大的并行度和尽可能少的资源消耗为原则，以并行的流水线形式实现了Hcnn卷积神经网络的前向预测过程。充分利用了FPGA的数据并行和流水线并行的特点。脉动阵列结构平衡了IO读写与计算，在消耗较少的存储带宽下提高了吞吐率，有效地解决了数据访存速度远大于数据处理速度的卷积神经网络FPGA实现的问题。

技术领域

本发明涉及人工智能中重要发展方向之一——深度学习领域，具体涉及一种基于FPGA的卷积神经网络前向预测的硬件加速实现装置。

背景技术

最近几年来，人工智能领域，尤其是机器学习在理论和应用方面均获得了突破性的成就。深度学习是机器学习最重要发展方向之一，深度学习能够学习到具有多层次抽象的特征，因此深度学习在解决复杂抽象的学习问题上有着卓越的表现。但是，随着问题不断复杂化、抽象化，深度学习网络的模型变得更加复杂，模型的学习时间也在增加。例如谷歌的“AlphaGo”使用了包含几千个神经元的多层神经网络结构，即使该结构使用了包含接近20000个处理器的计算机集群进行计算，识别复杂图像的学习过程也要消耗七八天的时间。因此深度学习在复杂抽象的学习问题上的卓越成就是建立在复杂的计算和巨大的训练数据之上的。高速度低功耗的深度学习加速算法的研究，逐渐成为了大势所趋。

相比与CPU、GPU和ASIC，FPGA在深度学习算法加速上具有高速度、低功耗、稳定而又延迟极低、适用于流式的计算密集型任务和通信密集型任务、灵活而开发周期短、成本低、便于携带等优势。因此FPGA是深度学习加速非常不错的选择，但目前对深度学习算法的FPGA实现的具体装置的研究并不多，存在存储带宽不足等问题，加速效果也还有很大的提升空间。

卷积神经网络算法是最常见最重要的深度学习算法之一，它在语音和图像识别等常见应用中取得了突破性成就。而前向预测过程是卷积神经网络算法的重要组成部分。

发明内容

本发明所要解决的技术问题是，克服现有卷积神经网络前向预测所存在的不足，本发明提出了一个精简优化的适合于在小型FPGA上实现的前向预测卷积神经网络Hcnn结构。

本发明为解决上述技术问题所采用的技术方案是，一种基于FPGA的卷积神经网络前向预测的硬件加速实现装置，由2个卷积层结构、2个池化层结构和2个全连接层结构组成，卷积层1、池化层1、卷积层2、池化层2、全连接层1、全连接层2顺次连接，原始输入特征数据以并行的流水线方式依次经过卷积层1、池化层1、卷积层2、池化层2、全连接层1和全连接层2；

卷积层结构包含若干个并行的基于优化的脉动阵列的卷积处理单元CONV_PE和激活函数Relu单元，原始输入特征数据通过卷积处理单元CONV_PE与卷积核作卷积操作后，再通过Relu单元输出特征数据；卷积层包括M个并行的卷积处理单元CONV_PE和N个激活函数Relu单元，M为该卷积层中卷积核的总个数，N为卷积层输出特征图的个数，M= N*卷积深度；卷积深度与输入特征图的个数相等。

池化层结构包含若干个并行的基于变形的脉动阵列的池化处理单元Maxpooling_PE，特征数据通过池化处理单元Maxpooling_PE完成池化操作；

全连接层1与全连接层2包含若干个并行的全连接处理单元FC_PE，输入特征数据通过全连接处理单元FC_PE完成全连接操作；

卷积层1与卷积层2均包含若干个并行的卷积处理单元CONV_PE和激活函数Relu单元，原始输入特征数据通过卷积处理单元CONV_PE与卷积核作卷积操作后，再通过激活函数Relu单元输出特征数据；