[发明专利]一种应用于面向云端深度学习推理的分布式FPGA多任务调度算法

说明书

一种应用于面向云端深度学习推理的分布式FPGA多任务调度算法，包括：面向多节点FPGA现场可编程门阵列的两阶段静态‑动态编译器，具体包括：基于切分的静态编译器生成沿宽度切分或沿输出通道切分的细粒度指令包；通过考虑多节点FPGA通信代价的延时仿真器，根据细粒度指令包生成延时查找表；将细粒度指令包和延时查找表存储在动态编译器中；通过动态编译器，根据预先生成的细粒度指令包和延时查找表生成指令文件；将指令文件发送到虚拟化核心分配器中进行在线部署，同时，通过监控器记录指令运行时的延时结果，将延时结果返回至多任务调度器的虚拟核分配器并更新性能模型。解决现有技术中同类编译器性能模型编译效率低下和多任务调度算法性能差的技术问题。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种面向多节点FPGA的两阶段动态-静态编译和基于采样和动量学习在线更新的多任务调度算法。

背景技术

目前云端支持的深度学习推理服务(INFaaS)已经成为了数据中心中主要的人工智能相关负载。当前基于深度学习加速器的推理服务，比如NVIDIA T4，Google TPU，微软Brainwave，阿里巴巴含光，已经成为了许多实际应用和市场的基础。其中，以FPGA为基础的深度学习推理加速平台是云端深度学习推理服务的一种充满发展前景的方案。

随着在线AI服务需求的不断增长，虚拟化是实现低成本和可扩展的推理服务的重要技术。推理服务的虚拟化框架主要由三层组成：硬件层、编译调度层和应用层。系统运行时将用户的应用请求发送给中心调度器进行资源分配，并将任务映射到硬件层中分配的物理节点。硬件层由集群中的多个物理计算节点组成，每个节点包含多个深度神经网络(DNN)加速器核，用于硬件辅助虚拟化[1,2,3]，它使用特定的指令集架构(ISA)来实现低开销的上下文切换。对于应用层，用户利用运行时的API远程调用虚拟化计算资源，并将任务(如DNN模型)发送到编译调度层。对于编译调度层，编译器为每个任务生成指令文件和性能模型，此外，现有的多用户DNN调度器[1,2,4]利用性能模型，确保在灵活的资源分配下也能获得最优的系统性能。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的第一个目的在于提出一种应用于面向云端深度学习推理的分布式FPGA多任务调度算法，以实现分布式多节点FPGA的高效离线编译和多核资源在线调度，利用动量学习实现性能模型的在线更新和快速有效的多任务实时调度。

本发明的第二个目的在于提出一种计算机设备。

本发明的第三个目的在于提出一种非临时性计算机可读存储介质。

为达上述目的，本发明第一方面实施例提出了一种方法，包括：

面向多节点FPGA现场可编程门阵列的两阶段静态-动态编译器，所述两阶段静态-动态编译器的编译过程包括：

步骤101，基于切分的静态编译器生成沿宽度切分或沿输出通道切分的细粒度指令包；

步骤102，通过考虑多节点FPGA通信代价的延时仿真器，根据细粒度指令包生成包括所述多节点FPGA通信代价的延时查找表；

步骤103，将所述细粒度指令包和所述延时查找表存储在动态编译器中；

步骤104，通过所述动态编译器，根据预先生成的所述细粒度指令包和所述延时查找表生成指令文件；

步骤105，将所述指令文件发送到虚拟化核心分配器中进行在线部署，同时，通过监控器记录指令运行时的延时结果，将所述延时结果返回至多任务调度器的虚拟核分配器并更新性能模型。

在本发明实施例中，通过所述动态编译器，根据所述细粒度指令包和所述延时查找表生成指令文件，包括：

通过所述动态编译器，利用多节点指令分配器根据预先生成的所述细粒度指令包和所述延时查找表生成指令文件。