[发明专利]基于FPGA的卷积神经网络IP核

说明书

本发明公开了基于FPGA的卷积神经网络IP核，其目的是在现场可编程逻辑阵列(FPGA)上实现卷积神经网络的运算加速。本发明根据卷积神经网络的基本模型，其具体架构包含卷积运算IP核、池化运算IP核、全连接运算IP核、冒泡法卷积层、冒泡法池化层、全连接层、特征图存储模块和参数存储模块。本发明各类IP核支持不同规模的卷积神经网络构建，根据所需的网络模型，实例化不同种类和数量的IP核。通过实例化IP核构建不同的神经网络层，充分利用FPGA的并行性实现卷积神经网络运算加速。通过Verilog HDL语言设计IP核实现不同FPGA移植。本发明极大提升卷积神经网络运算速度和效率，降低其处理功耗。

技术领域

本发明涉及卷积神经网络硬件加速领域，具体涉及基于FPGA的卷积神经网络IP核的设计。

背景技术

伴随着机器学习、深度学习和人工智能近几年的兴起和完善，人工神经网络(Artificial Neural Network，ANN)不断发展，作为生物科学和计算机科学交叉渗透的人工智能领域，正在被学术界和商业界关注。早期的人工神经网络类似于仿生神经系统结构，在20世纪中期就提出了模拟人类大脑神经元结构的计算结构。将人类神经元结构的树突分支模拟为多个输入数据，轴突模拟为单个输出数据，通过一定的数据变换即线性加权，实现轴突的神经信号输出。

通过手动设置阈值以及各种线性加权的权重较为繁琐，且未必能达到最好的结果，20世纪70年代研究者认为感知机模型无法解决线性不可分问题，且当时计算能力低下无法实现多层神经网络模型，神经网络的研究进入低潮。

20世纪80年代末，为了解决神经网络复杂的计算问题和线性不可分问题，研究者提出反向传播算法，使得神经网络的计算时间大大降低。直至今天，反向传播算法仍然是神经网络训练的主流算法。由于当时的计算资源还是不够充足，深层神经网络的训练仍然十分困难。

1989年，研究者提出第一个具有真正意义上的卷积神经(Convolutional NeuralNetwork，CNN)LeNet-5，卷积神经网络逐渐成为各种深度神经网络中应用最广泛的一种。随着神经网络算法的发展，卷积神经网络被广泛应用于图像及模式识别，目标探测和语义分割等领域。

由于卷积神经网络应用广泛，逐渐得到学术界和商业界的重视，其特点在图像处理方面，尤其对于图像尺寸的缩放、提取特征图等方面具有鲜明的优势。为契合工业界的应用，卷积神经网络的学习能力和分类能力不断提升，导致卷积神经网络结构日趋复杂，需大规模和深层次的网络利用大量的样本训练神经网络的参数，因此其训练过程的计算量十分庞大。大规模和深层次的卷积神经网海量的训练参数，需要较高的存储资源、高吞吐量的数据处理和高度的并行性，因此基于传统计算机结构的控制理论并不能发挥卷积神经网络的特点。NVIDIA的CUDA(Compute Unified Device Architecture)和Google的TensorFlow框架的发展，支持GPU高性能数值计算，在一定程度上缓解了通用架构CPU的计算压力，但其研究制造成本、能效比等无法满足低功耗、高性能的需求，且囿于体积、其便携性难以支持卷积神经网络在终端上的应用场景。

现场可编程逻辑阵列(Field Programmable Gate Array，FPGA)是作为专用集成电路(Application Specific Integrated Circuit，ASIC)领域中半定制集成电路而出现的。FPGA结合了ASIC的高性能、高集成度和用户可编程器件的灵活性，其特点在于可重构性、较高的性能和集成度、硬件升级空间大。由于FPGA可重构性，在目前没有通用的卷积神经网络专用芯片架构下，FPGA契合卷积神经网络高性能数值计算，避免通用架构CPU、GPU单线程处理的低能效比。且FPGA产品上市速度快，在神经网络结构日新月异的今天，可以较快的投入市场，避免了ASIC芯片只能针对特定的算法设计的较差的灵活性。