[发明专利]一种DAG任务调度方法、装置、设备及存储介质

说明书

本申请公开了一种DAG任务调度方法、装置、设备及存储介质。该方法包括：按照有向图神经网络、顺序解码器的顺序构建网络模型，并以最小任务调度长度为目标定义网络模型的目标函数；获取DAG任务数据集，并对DAG任务数据集内每个DAG任务生成对应的信息矩阵；利用信息矩阵对网络模型进行训练，并根据目标函数利用强化学习更新网络模型的模型参数，以得到训练后的DAG任务调度模型；利用DAG任务调度模型确定待执行DAG任务内子任务的调度顺序，并根据调度顺序利用并行计算系统执行待执行DAG任务。能够缩短DAG任务调度长度，提高DAG任务并行执行效率，解决难以为DAG任务的最佳优先级分配收集足够多监督标签的问题。

技术领域

本发明涉及任务调度技术领域，特别涉及一种DAG任务调度方法、装置、设备及存储介质。

背景技术

目前，在高性能和复杂功能需求的推动下，并行计算系统越来越多地用于执行实时应用程序，如具有感知、规划和控制等复杂功能组件的对高性能和实时性要求极高的自动驾驶任务。DAG（Directed Acyclic Graph，有向无环图）任务常常用来表示类似实时应用程序的多个任务组件（子任务）之间复杂依赖关系和形式化描述细粒度的并行任务调度问题，即DAG任务调度问题。考虑到非抢占式任务模型可以避免任务迁移和切换开销，针对DAG任务的基于优先级的非抢占式调度受到广泛关注，该问题研究如何将给定的DAG任务非抢占式地调度到并行计算系统上执行，使得处理时间最短，是一个典型的NP（Non-deterministic Polynomial Complete）完全问题。现有技术中，长期的并行计算实践积累了大量优秀的启发式调度算法，如表调度算法和聚类调度算法。但由于启发式策略的性质，这些算法无法为 DAG任务调度程序建立基本的设计原则，例如在不同DAG任务规模和配置下如何利用DAG任务执行时间和DAG任务图拓扑结构特征为各个子任务分配优先级，并且调度性能不理想。

发明内容

有鉴于此，本发明的目的在于提供一种DAG任务调度方法、装置、设备及介质，能够缩短DAG任务调度长度，提高DAG任务并行执行效率。其具体方案如下：

第一方面，本申请公开了一种DAG任务调度方法，包括：

按照有向图神经网络、顺序解码器的顺序构建网络模型，并以最小任务调度长度为目标定义所述网络模型的目标函数；

获取DAG任务数据集，并对所述DAG任务数据集内每个所述DAG任务生成对应的信息矩阵；

利用所述信息矩阵对所述网络模型进行训练，并根据所述目标函数利用强化学习更新所述网络模型的模型参数，以得到训练后的DAG任务调度模型；

利用所述DAG任务调度模型确定待执行DAG任务内子任务的调度顺序，并根据所述调度顺序利用并行计算系统执行所述待执行DAG任务。

可选的，所述按照有向图神经网络、顺序解码器的顺序构建网络模型之前，还包括：

基于聚合函数和非线性激活函数构建用于DAG任务特征学习的图卷积层；

按照输入层、K层图卷积层、输出层的顺序构建得到所述有向图神经网络。

可选的，所述按照有向图神经网络、顺序解码器的顺序构建网络模型之前，还包括：

以DAG任务内子任务的优先级分配状态为变量，为所述DAG任务定义上下文环境的向量表达式；

基于注意力机制和所述上下文环境的向量表达式构建用于优先级排序的顺序解码器。

可选的，所述以最小任务调度长度为目标定义所述网络模型的目标函数，包括：

以DAG任务在不同时间步下优先级排序对应的任务调度长度和任务调度长度下限为自变量，生成DAG任务的减速评价指标；所述任务调度长度下限根据DAG任务的关键路径的路径长度确定；