[发明专利]一种基于CPU-FPGA内存共享的卷积神经网络加速器

权利要求书

1.一种基于CPU-FPGA内存共享的卷积神经网络加速器，其特征在于，包括：CPU处理子系统和FPGA加速子系统；所述CPU处理子系统与所述FPGA加速子系统通过高速AXI总线相连；

所述CPU处理子系统包括输入控制模块、配置参数生成模块和输出控制模块；

所述输入控制模块，用于接收和缓存像素数据和权重数据；

所述配置参数生成模块，用于根据卷积神经网络描述信息生成每一层的数据调度和计算控制配置参数；

所述输出控制模块，与所述输入控制模块和所述FPGA加速子系统分别相连，用于控制数据的传输；

所述FPGA加速子系统包括片上存储模块、计算引擎模块和FPGA控制模块；

所述片上存储模块，用于所述配置参数、输入输出数据的缓冲和读写访问；

所述计算引擎模块，用于对卷积神经网络推理过程的计算进行加速；

所述FPGA控制模块，用于根据所述配置参数，控制所述片上存储模块对数据的读写操作，并完成与所述计算引擎模块的数据交换和计算控制；

所述片上存储模块包括输入存储单元，所述输入存储单元，用于对输入的所述像素数据和所述权重数据进行缓存，所述计算引擎模块从所述输入存储单元内获取权重数据和像素数据进行计算；

所述输入存储单元包括Buffer存储层、Cache存储层和Regs存储层；

所述Buffer存储层，包括权重Buffer存储单元和像素Buffer存储单元，其中权重Buffer存储单元存储当前层所有输出通道对应的权重数据，像素Buffer存储单元存储当前层所有输入通道当前计算引擎模块需要的多个连续完整像素行数据；

所述Cache存储层，包括权重Cache存储单元和像素Cache储存单元，分别用于存储当前计算引擎模块需要的当前层多个输出通道对应的权重数据和当前层当前输入通道对应的由多个连续像素行和列所构成的像素块数据；

所述Regs存储层，用于存储正在参与计算引擎模块计算的权重和像素数据。

2.根据权利要求1所述的一种基于CPU-FPGA内存共享的卷积神经网络加速器，其特征在于，还包括片外存储器，所述片外存储器与所述输出控制模块相连，用于存储所述CPU处理子系统所产生的数据。

3.根据权利要求1所述的一种基于CPU-FPGA内存共享的卷积神经网络加速器，其特征在于，所述CPU处理子系统还包括数据预处理模块；

所述数据预处理模块，与所述输入控制模块相连，用于对接收到的所述像素数据和所述权重数据进行定点数量化和预处理，并进行存储。

4.根据权利要求3所述的一种基于CPU-FPGA内存共享的卷积神经网络加速器，其特征在于，所述数据预处理模块将量化后的三维像素展开为二维，保留输入通道维度，将像素长和宽两个维度合并后展开为一维，同时将量化后的三维权重展开为二维，保留输出通道维度，将输入通道维度和卷积核维度合并后展开为一维，最后将降维后的像素数据存储到所述数据预处理模块内的像素缓冲区和权重缓冲区中。

5.根据权利要求1所述的一种基于CPU-FPGA内存共享的卷积神经网络加速器，其特征在于，所述输出控制模块具体用于根据FPGA控制模块完成整个卷积神经网络计算后产生的中断控制信号，取出卷积神经网络检测结果并进行输出。

6.根据权利要求1所述的一种基于CPU-FPGA内存共享的卷积神经网络加速器，其特征在于，所述片上存储模块还包括输出存储单元和配置参数存储单元；

所述输出存储单元，包括两个缓冲区，且两个缓冲区分时轮流作为数据收集缓冲区和数据发送缓冲区，其中所述数据收集缓冲区用于收集计算引擎模块计算得到的输出像素数据，所述数据发送缓冲区用于突发传输方式下将输出像素数据批量进行输出；

所述配置参数存储单元，用于存储整个卷积神经网络每一层的数据调度和计算控制配置参数。

7.根据权利要求1所述的一种基于CPU-FPGA内存共享的卷积神经网络加速器，其特征在于，所述Buffer存储层采用双端口技术，数据的更新和读取同时进行。