[发明专利]一种调度方法及装置

说明书

一种调度方法及装置，用以解决现有技术中作业等待时延较大，效率较低的问题。方法为，资源管理设备接收至少一个调度器的资源调度请求，任一个资源调度请求用于为所述调度器对应的一个作业请求资源调度；然后所述资源管理设备判断服务器集群负载是否大于设定负载阈值，所述服务器集群用于执行作业；若是，则所述资源管理设备开启缓存时间窗口，并缓存所述缓存窗口对应的时间内接收到的多个资源调度请求所对应的多个作业；所述资源管理设备在所述缓存时间窗口关闭时，按照预设规则对缓存的所述多个作业进行资源调度；否则，所述资源管理设备将接收到的资源调度请求对应的作业的资源调度结果发送给所述资源调度请求对应的调度器。

技术领域

本申请涉及大数据分析领域，尤其涉及一种调度方法及装置。

背景技术

随着云计算的发展，数据中心需要处理的数据量与日俱增，而且面向各种各样的服务，其中，大数据分析是企业或科研机构所用到的最广泛的业务，例如基于分布式系统(如Hadoop、Spark、Storm等)进行机器学习或数据挖掘(如搜索引擎、日志分析、实时检测等)等。大数据应用通常以作业(如WordCount、Sort、PageRank等)为调度单元，由于作业通常是异构性的(应用类型不同、数据量大小不一)，而且源源不断地到达，这无疑给数据中心的资源管理和调度带来很大的挑战。

传统的集中式调度方法(如Hadoop 1.x、Borg、Kubernetes等)由于只有一个中央调度器，当数据量大的时候，效率低下；两级调度架构(如Mesos、Yarn等)虽然把资源调度与作业调度分离开，但是每个调度器却没有全局的资源视角，无法识别作业可以被放到哪些机器上执行；全分布式调度方法(如Sparrow等)虽然提升了调度速度，但是却很难实现作业合理的放置(placement)，不协调的调度方式通常导致资源利用不均；共享状态的调度架构(如Omega、Apollo等)虽然可以使得每个调度器都拥有一份集群状态的副本，但是却容易产生较大作业“饥饿”等待的问题。发展至今，混合调度方式(如Hawk、Mercury等)逐渐成为学术界与工业界的前沿研究方向。

目前，混合式调度方式为最常用的调度方法，以Hawk调度器架构为例，它是把中心化和分布式的调度策略进行了融合，也即架构中包括一个中心调度器和多个分布式调度器。首先中心调度器根据历史运行时间对作业进行估计，把作业分成“大作业”和“小作业”两大类，其中“大作业”为运行时间较长的作业，“小作业”为运行时间较短的作业；然后针对“小作业”利用分布式调度器调度，针对“大作业”利用中心调度器进行调度。

但是，上述调度方法需要对所有作业都进行时间估计，又由于作业应用类型繁多，可能会导致所需估计时间较长或出现误差，这样会产生较大作业等待时延，效率较低；并且就算能够准确划分出“大作业”和“小作业”，依然可能存在“大作业”有很多的情况，这样仍会导致作业等待时延较大。

综上，现有的调度方法存在作业时延较大，效率较低的问题。

发明内容

本申请提供一种调度方法及装置，用以解决现有技术中作业等待时延较大，效率较低的问题。

第一方面，本申请提供了一种调度方法，该方法包括：资源管理设备接收至少一个调度器的资源调度请求，任一个资源调度请求用于为所述调度器对应的一个作业请求资源调度；之后，所述资源管理设备判断服务器集群负载是否大于设定负载阈值，所述服务器集群用于执行作业；若是，则所述资源管理设备开启缓存时间窗口，并缓存所述缓存窗口对应的时长内接收到的多个资源调度请求所对应的多个作业；所述资源管理设备在所述缓存时间窗口关闭时，按照预设规则对缓存的所述多个作业进行资源调度；否则，所述资源管理设备将接收到的资源调度请求对应的作业的资源调度结果发送给发送所述资源调度请求的调度器。