[发明专利]一种基于异构平台的神经网络推理加速方法

权利要求书

1.一种基于异构平台的神经网络推理加速方法，基于异构平台，所述异构平台包括处理器和FPGA的片上系统，其特征在于，包括以下步骤：

在FPGA中设计神经网络加速器，神经网络加速器包括计算模块和数据处理模块来完成神经网络卷积计算与输出数据的处理；然后采用缓存的设置与优化、流水化、数据流优化的方法来加快神经网络前向推理过程；

其中，所述计算模块包括普通卷积模块、深度可分离卷积模块、全连接模块；所述数据处理模块包括池化模块、批归一化模块、激活函数模块；

所述普通卷积模块对卷积进行分块计算，每次只进行固定块大小的输入和卷积核权重之间的卷积计算，再通过滑动窗口的方式依次完成所有输出特征图上像素点的计算；

深度可分离卷积模块包括深度卷积模块和逐点卷积模块；深度卷积的一个卷积核只有一个通道，一个卷积核只负责卷积输入特征图的一个通道，产生的输出特征图通道数和输入通道数一样；逐点卷积模块的卷积核尺寸为1x1xD，D为上一层卷积输出的通道数；

全连接模块复用普通卷积部分，通过AXI_Lite总线设置输入的规模为1x1xC，其中C为通道数；

池化模块包括最大池化和平均池化，通过配置相应寄存器的值来选择；最大池化仅为逻辑运算，输入数据通过比较器比较，输出一个最大值就好了；平均池化利用加法器将输入数据加和然后通过移位寄存器实现除法计算，从而求出平均值；

批归一化模块对普通卷积模块和深度可分离卷积模块的输出进行数据归一化处理。

2.根据权利要求1所述的基于异构平台的神经网络推理加速方法，其特征在于：所述采用缓存的设置与优化、流水化、数据流优化的方法来加快神经网络前向推理过程，具体包括：

缓存的设置与优化，在FPGA中的片上BRAM存储器，分别设置输入缓存:IN[Tn][Tic][Tir]、权重缓存：W[Tm][Tn][Tkc][Tkr]、输出缓存:OUT[Tm][Toc][Tor]，缓存的大小根据卷积分块变量大小来确定；使用缓存分割方法，对输入和输出缓存的通道维度进行分割，对权重缓存的输入和输出通道两个维度进行分割，使其分布在不同的BRAM区块，增加其输入输出端口的数量，可同时进行读写操作；将输入缓存划分为Tn个独立的缓存块，权重缓存划分为Tm*Tn个独立的缓存块，输出缓存划分为Tm个独立的缓存块；

数据流优化，为采用双缓冲+乒乓操作方法进行任务级数据流的并行优化，即在FPGA的片上BRAM中设置两块同样大小的输入缓存、权重缓存、输出缓存，利用“乒乓”数据传输机制，将读取数据、卷积计算和写回结果同时进行。

3.根据权利要求1所述的基于异构平台的神经网络推理加速方法，其特征在于：还包括神经网络的训练，具体为在服务器端搭建神经网络模型，导入数据集进行训练，训练完成后得到神经网络各层的模型参数，包括卷积层的权重和偏置参数、批归一化参数，并将参数保存为二进制文件，放入SD卡中。

4.根据权利要求1所述的基于异构平台的神经网络推理加速方法，其特征在于：所述神经网络前向推理过程包括：

应用程序在DDR内存中分配出一块物理地址连续的数组空间ARRAY_IMAGE，并读取输入图片进行预处理后放到该数组空间；

应用程序在DDR内存中分配出一块物理地址连续的数组空间ARRAYi，读取神经网络卷积层参数、批归一化层参数到该数组空间；

应用程序将整个加速器以二进制比特流文件的形式加载到FPGA；

应用程序根据神经网络模型的结构，配置FPGA加速器内部各个模块的寄存器，并调整卷积、池化和全连接运算的规模；

应用程序根据神经网络模型的结构，分别调用FPGA加速器中的普通卷积模块、深度可分离卷积模块、全连接模块、池化模块、批归一化模块、激活函数模块，并将内存DDR的输入数据、卷积层参数、批归一化层参数传入FPGA加速器中，进行加速计算；

FPGA加速器完成神经网络的所有层级的推理计算后，将推理结果返回到内存DDR中，提供给应用程序访问。