[发明专利]面向云端深度学习推理的FPGA虚拟化硬件系统栈设计

权利要求书

1.一种云端场景下的分布式FPGA硬件辅助虚拟化硬件架构，其特征在于，包括硬件结构与数据流优化，所述硬件结构在基于多核指令集架构ISA的深度神经网络DNN加速器架构的基础上，通过引入转发广播数据同步、动态带宽分配和数据量优化的方法优化单核等效带宽，其中，

所述硬件结构还包括FPGA加速卡，所述FPGA加速卡上有N块双倍速率同步动态随机存储器DDR，根据所述FPGA加速卡上DDR的块数对虚拟化加速器核进行分组，其中，通过Load/Save模块对每组数据的读写请求进行管理；

所述深度神经网络DNN包括卷积神经网络CNN；

所述数据流优化包括在使用多核加速器的深度神经网络DNN推理加速中，按照输入特征图宽度方向和输出特征图通道方向对所述卷积神经网络CNN的每一层进行切分，并将其分配给每个核进行并行计算。

2.根据权利要求1所述的云端场景下的分布式FPGA硬件辅助虚拟化硬件架构，其特征在于，所述Load/Save模块包括Unpack/Pack模块和指令解码器；其中，

Unpack/Pack模块，用于对帧进行解包和打包；

指令解码器，用于解码来自本组核与转发的命令，决定是否从本组DDR取数，是否对请求进行转发。

3.根据权利要求2所述的云端场景下的分布式FPGA硬件辅助虚拟化硬件架构，其特征在于，在所述指令解码器中，若来自核的指令所需要的数据是相同的，则合并请求，从DDR取一次数据，将取得的数据广播给所有的核，并且控制带宽分配器将所有带宽分配给端口0。

4.根据权利要求1所述的云端场景下的分布式FPGA硬件辅助虚拟化硬件架构，其特征在于，所述数据流优化包括在使用多核加速器的深度神经网络DNN推理加速中，按照输入特征图宽度方向或/和输出特征图通道方向对所述卷积神经网络CNN的每一层进行切分，并将其分配给每个核进行并行计算；其中，

通过所述按照输入特征图宽度方向和输出特征图通道方向的切分方式将产生四种数据搬运模式，所述的四种数据搬运模式分别为全转发无广播、全转发全广播、部分转发无广播、无转发无广播。

5.根据权利要求4所述的云端场景下的分布式FPGA硬件辅助虚拟化硬件架构，其特征在于，所述硬件结构通过单向环形片上网络进行数据转发，在深度神经网络DNN的计算过程中，所述单向环形片上网络将从片下内存读取的输入特征图与权重数据在各组核之间转发，其中，所述深度神经网络DNN每一层的计算通过切分特征图或权重实现并行化。

6.根据权利要求1所述的云端场景下的分布式FPGA硬件辅助虚拟化硬件架构，其特征在于，所述的分布式FPGA硬件辅助虚拟化硬件架构和系统栈，还包括虚拟化系统应用层，所述虚拟化系统应用层包括用户运行时库、服务器端守护程序、数据层和控制层；其中，

用户运行时库，包括用户端开发套件、DNN模型输入输出接口、数据输入接口、调用虚拟化FPGA资源接口、释放虚拟化FPGA资源接口，其中，用户运行时库在虚拟机容器中运行；

服务器端守护程序，FPGA服务器端运行的守护程序控制指令生成过程，根据调度器的资源分配结果调用动态编译器产生指令文件，并把指令文件发送给分配的虚拟化核中，同时负责控制动态重配置与运行状态、计算时延的监控记录；

数据层，用于在用户环境与FPGA服务器端计算节点之间传送数据；

控制层，通过TCP/IP协议发送控制信号，由总控制节点控制整个集群虚拟化框架的运行。

7.根据权利要求1所述的云端场景下的分布式FPGA硬件辅助虚拟化硬件架构，其特征在于，所述深度神经网络DNN还包括循环神经网络RNN，在使用多核加速器的深度神经网络DNN推理加速中，按照所述输入特征图宽度方向对所述循环神经网络RNN的每一层进行切分，并将其分配给每个核进行并行计算。