[发明专利]一种数据中心作业调度方法、系统、存储介质及计算设备

说明书

本发明公开了一种数据中心作业调度方法、系统、存储介质及计算设备，利用模拟器对调度器进行训练；然后在每个调度时刻，调度器根据先到先服务原则依次遍历现存未完成作业中包含的未完成任务，将可以接受这一任务执行的服务器的状态参数和任务的参数组成一个服务器‑作业对保存；将保存的服务器‑作业对列表输入到神经网络中计算对应的Q值，选择Q值最高的服务器‑作业对作为调度决策，将任务调度到被选择的服务器‑作业对中对应的服务器上执行；如果作业中所有未调度任务都已经完成调度决策，则标记该作业此次已完成，继续遍历未完成作业列表，完成作业调度。本发明提高了算法性能。

技术领域

本发明属于数据中心能耗管理技术领域，具体涉及一种数据中心作业调度方法、系统、存储介质及计算设备。

背景技术

近年来随着计算机科学技术的发展，硬件的计算能力不断提升，而互联网业务的蓬勃发展，也使得互联网数据量呈现爆炸式增长。这些都导致了对计算资源的需求飞速提升。单机的计算能力已经不能满足需求。因此云计算应运而生。云计算是分布式计算、并行计算、虚拟化、负载均衡等传统计算机和网络技术发展融合的产物。云计算将大量的服务器通过虚拟机技术虚拟为一个个计算资源节点，用户无需关心硬件的实现和维护，只需要在云端购买计算资源，即可快速的获取自己所需的资源。而云计算的背后离不开数据中心的支撑。

数据中心是由数万台服务器，数百台网络设备，以及冷却设备、供电设备等构成。数据中心能耗十分巨大，降低数据中心典礼能耗具有重大的社会意义。同时，据统计，在数据中心长期运营成本中，电力能耗成本所占比率约为50％，降低数据中心电力能耗也有助于降低数据中心长期运营成本，具有重大的现实意义。

在数据中心中，能耗主要由四部分所消耗，包括：IT设备，冷却设备，供电设备和照明设备。其中IT设备能耗约占60％，冷却设备约占30％。供电设备和照明设备共占约10％。由此可见，IT设备能耗是数据中心能耗的主要组成部分。因此降低IT设备能耗能有效降低数据中心能耗，其具有重要意义。

降低IT设备能耗的相关研究通常可以分为硬件层面的节能和系统层面的节能，分别指使用动态电压缩放等技术节省各IT设备部件能耗和进行作业或虚拟机调度来节能。IT设备的能耗较高的原因除了本身硬件能效低之外，主要就是作业或虚拟机分配的不合理，目前的研究点主要就集中在合理分配设备资源，例如通过作业调度或虚拟机迁移技术来关闭空闲设备。

然而，目前数据中心规模不断扩大，大型数据中心中可能部署了数千台服务器。而且随着数据中心的不断发展，数据中心中新旧服务器并存，服务器的参数各不相同。因此设计一个面向能耗最小化的专家系统用于作业调度越来越难以实现。而近年来深度强化学习在复杂系统控制方面取得了突出成就。深度强化学习在围棋和电子游戏上都取得了比人类更优异的成绩。因此深度强化学习在面向能耗最小化的数据中心作业调度器设计方面有着优异的前景，也受到了学界的关注。

然而，现存的面向能耗最小化基于深度强化学习的数据中心作业调度器设计通常是把整个集群的状展平输入到神经网络中。这种方法存在以下问题：

1.不支持弹性伸缩。云计算最为关键的特性就是可扩展性。数据中心作为云计算的基础设施，也必然要支持新服务器的加入和服务器的退出。由于神经网络的特性决定了输入的维度必须是固定的。因此简单地将整个集群的信息输入神经网络显然无法支持新服务器的加入，或者说集群规模的扩大。而服务器的宕机退出虽然可以简单地把对应服务器的剩余资源设置为0来规避调度，但是显然这也增加了神经网络的学习难度。

2.维度爆炸。当数据中心规模增大时，状态空间和动作空间规模会线性增长，有维度爆炸的风险。

3.冗余信息过多。正常运行的数据中心集群应处于一个较繁忙的状态。此时大部分服务器无法承担新任务的运行。将整个集群的状态都输入网络会导致神经网络接受到很多冗余信息，增加了学习难度。

发明内容