[发明专利]任务调度方法、装置及系统

说明书

技术领域

本发明涉及计算机应用技术领域，尤其涉及一种任务调度方法、装置及系统。

背景技术

在传统的服务器集群系统中，通常由中央调度器(中央调度器是指服务器集群的任务调度器，是单独的一个硬件调度器)使用JSQ(最短队列优先)算法将任务分配到具有最短任务队列的处理器中。同时中央调度器管理所有到达的任务分配，所以可以自行追踪各个处理器上的任务队列，不需要额外的通讯开销。

随着所需计算服务越来越多，传统的服务器集群处理能力需要进行大规模扩展才能满足现今计算能力需求。但是，对于大规模的服务器集群数据中心，中央调度器已不再适用于做任务调度。当服务器集群规模达到上千台设备时，此时所需要的中央调度器价格昂贵并且增加了扩展粒度(扩展粒度是指调度器可以挂载服务器的台数，)大小。对于中央调度器，在实际应用中还有以下缺点：当系统处于低使用率时，要求关闭部分前端服务器，而此时还需要对中央硬件调度器进行重新配置；单个中央硬件调度器容易造成服务器系统的单点失败，丧失系统健壮性。因此，中央调度器已在服务器集群系统中失去了竞争力，迫切需要一种新的技术来取代它。

因此，使用分布式调度器是必然的发展趋势。但是在分布式调度器系统中，单个调度器只知道部分流经自身的任务，而对于JSQ算法，在任务调度前，需要知道全局的系统任务分配情况，JSQ算法不再适用分布式调度器系统。

目前，适用于分布式调度器系统的算法有PoN(n)(随机N负载均衡)算法和WS(Work Stealing&Work Sharing，任务窃取和任务共享)算法。

对于PoN(n)算法，在任务到来时，随机选取n个处理器，分析他们的任务队列，将任务交给n个处理器中任务队列最短的处理器处理。PoN(n)算法相对朴素随机算法大大提高了响应时间并减小了通讯开销，但是PoN(n)算法性能却比JSQ算法差很多。而且在任务到达时还是需要调度器和处理器直接的通讯开销，更主要的是这个通讯开销处于响应时间的关键路径之上。

对于WS算法，空闲的处理器会随机选取其他处理器，并接过其任务队列中的任务来处理；同时一个重度负载的处理器会随机选取其他处理器，将自己任务队列中的任务交给其他处理器来处理。但是，多核共享内存结构和服务器集群的任务到达和调度方式不一样。在多核系统中，新的任务线程在每个核心上独立生成；而在分布式调度器中，任务是从外部网络到达调度器。对于分布式调度器，在将每个任务分配到处理器之后，如果在允许处理器直接再次重新根据整个系统和各个核心的负载情况调度任务的情形下，又会引入新的额外开销；而且在多核系统中迁移一个线程是相对容易的，但是在面向网络的任务迁移时，还需要迁移TCP连接以及一些子任务的同步问题。因此，WS算法还不能直接移植到云服务器集群中使用。

在实现本发明的过程中，发明人发现现有技术中至少存在如下技术问题：

在大规模服务器集群和高负载系统环境下，现有的任务调度方法的效率较低，响应时间较长。

发明内容

本发明提供的任务调度方法、装置及系统，能够在大规模服务器集群和高负载系统环境下更加高效地进行任务调度，合理利用系统资源，响应时间较短。

第一方面，本发明提供一种任务调度方法，包括：

调度器接收路由器分配的任务；

所述调度器将所述任务分配到自身的空闲处理器队列中的首个处理器ID对应的空闲处理器，其中，所述空闲处理器队列中包括各空闲处理器上报的处理器ID；

所述调度器将所述空闲处理器队列中的首个处理器ID移除。

可选地，在所述调度器接收路由器分配的任务之前，所述方法还包括：

所述调度器接收空闲处理器上报的处理器ID；

所述调度器根据空闲处理器上报处理器ID的先后顺序，将处理器ID从前到后依次排列，建立空闲处理器队列。

可选地，所述方法还包括：

当所有调度器的空闲处理器队列均为空时，所述调度器接收任务队列长度低于预定阈值的低负载处理器上报的处理器ID；

所述调度器将所述低负载处理器上报的处理器ID添加到所述空闲处理器队列中；

当所述调度器接收到路由器分配的任务时，将所述任务分配到所述空闲处理器队列中的处理器ID对应的低负载处理器。

第二方面，本发明提供一种任务调度装置，所述任务调度装置位于调度器中，所述装置包括：

第一接收单元，用于接收路由器分配的任务；