[发明专利]一种实现并行任务调度的多任务强化学习方法

说明书

一种实现并行任务调度的多任务强化学习方法，基于异步优势表演者批评家算法实现，包括下列操作步骤：(1)对算法模型进行设置操作以更好的解决并行多任务调度问题，包括设置状态空间、设置动作空间、设置奖励定义；(2)对算法网络进行如下改进：用深度神经网络来表示策略函数和值函数；全局网络由输入层、共享子网络和输出子网络构成；(3)设置算法的新损失函数；(4)利用采集观测的并行任务调度数据，训练算法网络，算法收敛后，将所述算法网络用于并行任务调度。

技术领域

本发明涉及一种实现并行任务调度的多任务强化学习方法，属于信息技术领域，特别是属于分布和并行计算技术领域。

背景技术

在数据爆炸的时代，分布式和并行化已成为一种有效的数据处理方式。云计算、雾计算、边缘计算等都是大数据处理的典型的分布式和并行计算环境。这些计算系统的计算资源都是有限的，因此其中资源的合理分配始终是一个至关重要的研究课题。此外，可持续发展近年来已成为全球关注的重点，而计算中心的功耗则可能会造成巨大的能量损失。鉴于以上这些原因，在复杂的动态网络环境中，如何分配任务以有效利用分布式资源，实现计算系统的负载平衡，降低能耗，并确保服务质量(QoS)，已经成为世界各地学者研究的关键问题。

在实际的网络调度问题中，我们经常需要处理由独立并行任务组成的一些工作。虽然在执行期间它们之间没有依赖关系，但它们需要共享计算资源并共同决定整个作业的最终执行结果。例如，在基于云的Apache Hadoop平台中，程序可能会拆分为多个map子程序并提交到云平台，此时就需要将它们作为一个整体进行调度，为各个子任务联合分配任务执行的计算节点。此外，分布式关系数据库查询，蒙特卡罗模拟，BLAST(basic localalignment search tool)搜索等都是独立并行任务的典型例子。

目前几种经典的调度算法，如Min-Min，Max-Min，循环调度算法和最小连接方法，它们虽然简单有效，但却不适用于计算节点性能差异较大的系统。此外，基于穷举搜索的任务调度以寻找最佳资源分配又是不可能的，因为其复杂性随着任务和资源的数量呈指数增长。因此，一些学者尝试使用评估算法在可接受的时间内找到近似最优解，如粒子群优化，遗传算法，蚁群优化。然而计算平台的环境总是动态且大规模的，对它们进行精确建模十分困难，因此启发式算法也很难表现出优秀的调度性能。

对于处理高维状态空间和低维动作空间中的复杂控制问题，深度强化学习(DeepReinforcement Learning,DRL)具有出色能力，因此如何基于DRL技术，实现多任务调度的无模型控制成为分布并行多任务调度技术领域一个亟待解决的技术难题。

发明内容

有鉴于此，本发明的目的是发明一种基于DRL的并行任务调度方法，以提高计算平台的资源利用率，同时确保基于经验数据优化的QoS。

为了达到上述目的，本发明提出了一种实现并行任务调度的多任务强化学习方法，基于异步优势表演者批评家Asynchronous Advantage Actor-Critic算法实现，所述方法包括下列操作步骤：

(1)对Asynchronous Advantage Actor-Critic算法模型进行如下设置操作以更好的解决并行多任务调度问题：

(1.1)设置状态空间S为一个集合，即：S＝{F_task,L,T,F_node}，式中，

F_task＝{f₁,f₂,f₃,...,f_M}表示一个作业的CPU指令编号，式中，M是自然数，表示一个作业的最大子任务数目；f₁表示第1个子任务，f₂表示第2个子任务，f₃表示第3个子任务，f_M表示第M个子任务；所述作业是指将并行任务分配给具有不同计算能力和资源的服务器节点；