[发明专利]加速卡运行时系统及调度方法

说明书

本发明公开一种加速卡运行时系统及调度方法，运行时系统由配置有驱动层、运行时层的主机端和配置有资源管理模块、调度模块的设备端构成；主机端的运行时层用于支撑主机端运行时层的调度模块，并对外提供运行时接口；主机端运行时层的调度模块，维护若干个用以支持任务分发的流队列；主机端的驱动层，用于执行设备参数获取、ipc操作、内存管理，事件管理、计时管理、同步管理，还用于对外提供驱动接口；设备端的资源管理模块，用于管理加速卡设备上的功能部件；设备端的调度模块，用于接收来自资源管理模块的信息和主机端运行时层的调度模块流队列中的任务，实现人工智能应用高效执行。

技术领域

本发明涉及一种加速卡运行时系统及调度方法，用于国产人工智能加速卡运行时系统，属于系统软件领域，尤其是面向主机-设备异构架构的运行时系统软件。

背景技术

加速卡是增加人工智能算力的重要设备，为了使加速卡与主机协同执行应用，需要运行时系统支撑。已有的加速卡运行时是单层的，在主机端提供调度，加速卡设备负责转发和执行任务，设备端缺乏调度能力。

人工智能应用发展趋向复杂，同一个应用往往可以描述成多种计算形式的多个任务，这些任务对计算、访存的需求都不尽相同。人工智能加速卡面临更加复杂的应用，其体系结构发展趋向复杂，趋向包含更多功能部件。

现有的加速卡运行时系统缺乏多层级精细化的调度能力，难以支撑在更高效能加速卡上执行复杂应用的调度，将导致面向人工智能等领域的大型加速卡难以支持应用高效运行；且加速卡上没有动态、灵活的调度手段。

发明内容

本发明的目的是提供一种加速卡运行时系统及调度方法，解决了加速卡设备结构复杂化、功能多样化条件下应用在主机-加速卡环境中的调度执行缺乏有效手段的问题。

为达到上述目的，本发明提供一种运行时系统，面向主机插入加速卡设备，由配置有驱动层、运行时层的主机端和配置有资源管理模块、调度模块的设备端构成；

主机端的运行时层，由设备抽象、内存抽象、流抽象和执行器抽象组成，用于支撑主机端运行时层的调度模块，并对外提供运行时接口；

主机端运行时层的调度模块，维护若干个用以支持任务分发的流队列；

主机端的驱动层，用于执行设备参数获取、ipc操作、内存管理，事件管理、计时管理、同步管理，还用于对外提供驱动接口；

设备端的资源管理模块，用于管理加速卡设备上的功能部件，包括：多样的计算单元，存储单元等；资源管理模块能够查看、统计加速卡设备上各个部件的运行状态，并反馈给设备上的调度模块；

设备端的调度模块，用于接收来自资源管理模块的信息和主机端运行时层的调度模块流队列中的任务，并根据设备端的状态决策调度。

还提供了一种加速卡运行时系统的调度方法，其特征在于：基于权利要求1所述的加速卡运行时系统，包括以下步骤：

步骤1、运行时主机端的调度模块根据资源需求信息将任务发送至相应的运行时流队列中，并根据设备状态调度任务；

步骤2、任务执行过程中，设备端的资源管理模块实时向主机端反馈设备信息供决策；

步骤3、设备端的调度模块根据需要向主机端对应的运行时流队列提出任务请求；

步骤4、主机端的调度模块接收到设备端的任务请求后，根据请求种类将对应流队列中的第一个任务发送至设备端，并根据任务执行情况适时移出队列中的这个任务；

步骤5、当设备端接收到任务时，根据任务的信息决策任务的执行部件，并向后者调度任务。

上述技术方案中进一步改进的方案如下：

1、上述方案中，所述运行时接口包括：事件接口、设备接口、内存接口、流接口、执行接口。

2、上述方案中，所述驱动接口包括：内存操作接口，事件操作接口，计时操作接口，同步操作接口。