[发明专利]一种DAG任务调度方法、装置、设备及存储介质有效
申请号: | 202210671115.8 | 申请日: | 2022-06-15 |
公开(公告)号: | CN114756358B | 公开(公告)日: | 2022-11-04 |
发明(设计)人: | 胡克坤;鲁璐;赵坤;董刚;赵雅倩;李仁刚 | 申请(专利权)人: | 苏州浪潮智能科技有限公司 |
主分类号: | G06F9/48 | 分类号: | G06F9/48;G06F9/50;G06N3/04;G06N3/08 |
代理公司: | 北京集佳知识产权代理有限公司 11227 | 代理人: | 姚莹丽 |
地址: | 215100 江苏省苏州*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 dag 任务 调度 方法 装置 设备 存储 介质 | ||
1.一种DAG任务调度方法,其特征在于,包括:
按照有向图神经网络、顺序解码器的顺序构建网络模型,并以最小任务调度长度为目标定义所述网络模型的目标函数;
获取DAG任务数据集,并对所述DAG任务数据集内每个所述DAG任务生成对应的信息矩阵;
利用所述信息矩阵对所述网络模型进行训练,并根据所述目标函数利用强化学习更新所述网络模型的模型参数,以得到训练后的DAG任务调度模型;
利用所述DAG任务调度模型确定待执行DAG任务内子任务的调度顺序,并根据所述调度顺序利用并行计算系统执行所述待执行DAG任务;
其中,所述利用所述信息矩阵对所述网络模型进行训练,并根据所述目标函数利用强化学习更新所述网络模型的模型参数,包括:
将所述信息矩阵输入至所述网络模型,利用所述有向图神经网络根据所述子任务的特征和子任务间依赖关系输出得到每个子任务的向量表示;
利用所述顺序解码器,根据所述子任务的向量表示基于注意力机制和所述DAG任务的上下文环境对所述DAG任务内的子任务进行优先级排序;
根据所述优先级排序利用DAG任务调度模拟器计算所述DAG任务的任务调度长度;
根据所述任务调度长度和所述目标函数,利用强化学习更新所述网络模型的模型参数,直至所述网络模型收敛。
2.根据权利要求1所述的DAG任务调度方法,其特征在于,所述按照有向图神经网络、顺序解码器的顺序构建网络模型之前,还包括:
基于聚合函数和非线性激活函数构建用于DAG任务特征学习的图卷积层;
按照输入层、K层图卷积层、输出层的顺序构建得到所述有向图神经网络。
3.根据权利要求1所述的DAG任务调度方法,其特征在于,所述按照有向图神经网络、顺序解码器的顺序构建网络模型之前,还包括:
以DAG任务内子任务的优先级分配状态为变量,为所述DAG任务定义上下文环境的向量表达式;
基于注意力机制和所述上下文环境的向量表达式构建用于优先级排序的顺序解码器。
4.根据权利要求1所述的DAG任务调度方法,其特征在于,所述以最小任务调度长度为目标定义所述网络模型的目标函数,包括:
以DAG任务在不同时间步下优先级排序对应的任务调度长度和任务调度长度下限为自变量,生成DAG任务的减速评价指标;所述任务调度长度下限根据DAG任务的关键路径的路径长度确定;
基于策略梯度算法和所述减速评价指标构建奖励函数;
基于所述奖励函数构建所述网络模型的目标函数。
5.根据权利要求1所述的DAG任务调度方法,其特征在于,所述获取DAG任务数据集,包括:
配置DAG任务参数;所述DAG任务参数包括任务层数、目标结点的子结点个数、目标结点的子结点生成概率、相邻两个任务层之间连接边添加概率以及各个子任务的计算负载;
根据所述DAG任务参数生成DAG任务以得到所述DAG任务数据集。
6.根据权利要求1所述的DAG任务调度方法,其特征在于,所述对所述DAG任务数据集内每个所述DAG任务生成对应的信息矩阵,包括:
根据所述DAG任务数据集内所述DAG任务中每个子任务的特征生成结点特征矩阵;
根据所述DAG任务数据集内不同子任务之间的连接关系生成邻接矩阵;
基于所述结点特征矩阵和所述邻接矩阵得到所述DAG任务对应的信息矩阵。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于苏州浪潮智能科技有限公司,未经苏州浪潮智能科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210671115.8/1.html,转载请声明来源钻瓜专利网。