[发明专利]一种面向混合部署数据中心场景的离线作业任务调度算法

说明书

本发明提供一种面向混合部署数据中心场景的离线作业任务调度算法，该算法采用了比Deep Q‑Learning、Policy Gradient更先进的advantage actor‑critic(A2C)强化学习模型应用于云计算资源管理中的数据中心任务调度场景；为增强强化学习训练过程中的理解能力，将数据中心的负载状态信息进行高效编码并最终生成关系归纳偏置，该偏置在训练中不断增强强化学习模型对环境和执行动作的理解能力，从而形成较优的调度策略将该模型整体应用于混合部署数据中心场景下的任务调度问题。

技术领域

本发明涉及云计算中大规模数据中心资源管理领域，更具体地，涉及一种面向混合部署数据中心场景的离线作业任务调度算法。

背景技术

提高数据中心的资源利用率对于减少云资源提供商的基础设施投资至关重要。然而，当前现实世界的生产数据中心通常显示出相对较低的资源利用率。

对于节点数量巨大的数据中心，即使平均利用率仅有少量提高，也可以节省相当大的成本。因此，提高资源利用率成为云提供商实现经济目标的主要关注点。与此同时，将不同的工作负载混合部署在同一个数据中心上以提高资源利用率成为一种常见做法，这就是所谓的混合部署。

在混合部署场景中，主要有两种工作负载：长时间运行的应用程序(在线作业)和批处理应用程序(离线作业)。在线作业在混合部署场景中具有更高的优先级，而离线作业是尽力而为的，可以挂起从而为在线作业保留资源。此外，在线作业运行时行为通常是动态变化的。

DeepRM是一种利用(Deep Reinforcement Learning)DRL训练策略网络，实现数据中心多维资源调度的任务调度算法。它利用(Convolutional Neural Network)CNN模块从数据中心提取以图片形式表示的信息，在目标和方法上与的工作有更接近的高层目标。但是，DeepRM只能将数据中心视为一个单一的物理资源池，没有部署LRAs。此外，DeepRM将数据中心中运行的所有任务都被视为无状态批处理离线任务。DeepJS也使用DRL进行数据中心任务调度。它嵌入到装箱问题的框架中，将整个数据中心视为多计算节点的集合。然而，DeepJS仍然不是用于解决混合部署场景的任务调度问题。Decima将图神经网络(GraphNeural Network)GNN与DRL结合起来，将状态信息处理为特征嵌入(embeddings)，然后传递给其策略网络。此外，Decima是一种解决Spark分布式环境下具有DAG(Directed AcyclicGraph)依赖任务调度问题的调度算法。DeepRM Plus是DeepRM的扩展版本，主要是在引入模仿学习的同时，增强了DeepRM的CNN模块，进一步利用专家知识(即短任务优先，先到先得等等)，加快DRL训练时收敛速度。

与现有的任务调度算法相比，数据中心混合部署场景下的任务调度既需要考虑任务调度过程引起的数据中心状态变化，也需要考虑已经部署的在线作业引起的数据中心状态变化。例如，部署在混合部署数据中心上的在线作业通常具有各种运行时特征，且运行时特征是动态变化的，需要对这些特征进行适当的处理，以保证最终调度质量。然而，在任务调度过程中考虑大量具有未知的动态变化的运行时行为特征的在线作业是非常具有挑战性的，因为完全分析所有在线作业并收集它们的运行时行为特征是劳动密集型的，劳动成本超过了可能的获益。因此，需要开发新的调度算法来满足共存数据中心场景的需求，这种场景不需要事先了解数据中心调度场景的信息概要，并且可以通过历史经验自动学习调度策略。

发明内容

本发明提供一种面向混合部署数据中心场景的离线作业任务调度算法，该算法可形成较优的调度策略。

为了达到上述技术效果，本发明的技术方案如下：

一种面向混合部署数据中心场景的离线作业任务调度算法，包括一下步骤：

S1：将数据中心中的每一条节点状态信息和离线作业信息都作为一个实体来处理，并构造一个实体集E；