[发明专利]基于FPGA和行输出优先的卷积神经网络实现方法、系统及装置

说明书

本发明公开了一种基于FPGA和行输出优先的卷积神经网络实现方法、系统及装置，包括：初始化FPGA的可编辑资源，生成输入缓存模块、输出缓存模块、PE阵列模块和池化模块；其中，输入缓存模块包括图像缓存模块、权值缓存模块和偏置缓存模块；通过FPGA的通信模块加载待处理图像数据、权值及偏置，并存储于FPGA的内存存储器；将卷积计算分组，逐组进行卷积计算并累加，获得整个卷积计算的计算结果；获得的计算结果通过FPGA的通信模块输出。本发明采用行输出优先的分组处理方法，可根据不同卷积神经网络模型结构调整特征参数，便于硬件与软件模型的匹配；基于资源有限的FPGA，可完整实现CNN多层卷积全流程的计算。

技术领域

本发明属于计算机技术领域，涉及卷积神经网络的硬件实现以及图像处理、模式识别领域，特别涉及一种基于FPGA和行输出优先的卷积神经网络实现方法、系统及装置。

背景技术

目前，深度学习的相关算法已经大规模运用于图像处理、音频处理等领域中，相关算法相比传统机器学习算法有更高的精度，其中卷积神经网络(CNN)的研究尤其受到研究者的关注。

基础的卷积神经网络由卷积(convolution)、激活(activation)和池化(pooling)三种结构组成，部分网络模型中会加入归一化(LRN)结构。CNN输出的结果是每幅图像的特定特征空间。当处理图像分类任务时，将CNN输出的特征空间作为全连接层或全连接神经网络(fully connected neural network，FCN)的输入，用全连接层来完成从输入图像到标签集的映射，即分类。

在CNN网络结构中，层内计算是独立不相关的，而层间计算类似于流水线结构。由于CNN的特殊计算模式，通用处理器实现CNN并不高效，而使用GPU计算CNN带来的巨大能耗问题使之无法满足嵌入式设备的需求。FPGA作为一种计算密集型器件，利用其并行计算的优势，通过将算法映射到FPGA上不仅可以快速得到分类结果，相比GPU也可以节约能耗，非常适合应用于嵌入式设备之中。FPGA应用于CNN中存在的难点在于，卷积神经网络的结构通常较大，FPGA的资源有限，不能完整实现CNN多层卷积全流程的计算。

综上，亟需一种新型的基于FPGA的CNN快速实现的系统及方法。

发明内容

本发明的目的在于提供一种基于FPGA和行输出优先的卷积神经网络实现方法、系统及装置，以解决上述存在的技术问题。本发明采用行输出优先的分组处理方法，可根据不同卷积神经网络模型结构调整特征参数，便于硬件与软件模型的匹配；基于资源有限的FPGA，可完整实现CNN多层卷积全流程的计算。

为达到上述目的，本发明采用以下技术方案：

一种基于FPGA和行输出优先的卷积神经网络实现方法，包括以下步骤：

初始化FPGA的可编辑资源，生成输入缓存模块、输出缓存模块、PE阵列模块和池化模块；其中，输入缓存模块包括图像缓存模块、权值缓存模块和偏置缓存模块；

通过FPGA的通信模块加载待处理图像数据、权值及偏置，并存储于FPGA的内存存储器；

将卷积计算分组，逐组进行卷积计算并累加，获得整个卷积计算的计算结果；获得的计算结果通过FPGA的通信模块输出；

其中，每组卷积计算包括：

PE阵列模块通过图像缓存模块、权值缓存模块和输入总线，逐行从内存存储器调用图像数据和权值，逐行进行卷积计算并将各行的卷积结果累加，获得该组卷积计算的卷积结果；

通过输出缓存模块存储PE阵列模块输出的中间卷积结果和该组卷积计算的卷积结果；PE阵列模块进行第Q行卷积计算时，将第Q-1行的卷积结果反馈至PE阵列模块进行累加，直至该组卷积计算计算完毕，输出该组卷积计算的卷积结果；