[发明专利]一种任务调度方法、装置及系统

说明书

技术领域

本发明涉及计算机多任务处理技术领域，尤其涉及一种任务调度方法、装置及系统。

背景技术

目前网络视听产业是互联网领域的重中之重，网络视听业在信息消费中的地位日益明显。互联网电视盒子、视频网站、网络电视等均如雨后春笋。今后网络视频仍将成为网络视听产业的发展重点。但是各家网络视频供应商使用的视频格式各不相同，所以视频转码处理是网络视频内容提供的必经之路，也是网络视频供应商的投资重点之一。

目前常用的批量视频转码处理中对于任务负载均衡的处理，基本上以任务数来做简单分配。在以任务数为基准进行分配的时候，难免会出现一些问题。

(1)对于不同视频格式、不同时长的视频只能做同一处理，当同一机器分配到资源需求较高的多个任务的时候，会因为处理视频资源不足导致视频处理失败或者延时很长，而当分配到资源需求较低的多个任务时，难免会造成处理资源的浪费，有一部分资源会闲置。

(2)对于不同配置的机器只能做同一处理，配置低的机器满负荷运载的时候，配置高的机器有部分资源始终处于闲置状态。

发明内容

为了解决现有技术中处理设备集群对多个处理任务进行任务分配时负载不均衡从而导致集群整体利用率不高的技术问题，本发明提出一种任务调度方法、装置及系统，能够基于多视频格式，不同视频时长的视频转码处理负载均衡的方法，通过对每条视频处理任务的格式处理负载和时长处理负载计算出最合适的处理机器分配方案，提高处理机集群的利用效率，提高视频转码等任务处理速度。

本发明的一个方面，提供一种任务调度方法，包括以下步骤：获取待处理任务所需的设备负载点数；获取各个处理设备的当前总负载点数；将所述待处理任务分配给当前总负载点数最小的处理设备。通过该任务调度方法，能够根据任务本身所需的设备负载需求以及现有多个处理设备当前负载情况，将当前待处理任务合理分配给当前总负载最低的处理设备，提高任务处理效率和速度。

优选的，所述将所述待处理任务分配给当前总负载点数最小的处理设备的步骤后还包括：找出当前总负载点数最小的处理设备；所述当前总负载点数最小的处理设备的总负载点数若为0，处理所述待处理任务，否则将所述待处理任务加入所述当前总负载点数最小的处理设备的任务等待队列；更新所述处理设备的当前总负载点数；待所述待处理任务处理完毕后，释放所述处理设备的处理能力，更新所述处理设备的总负载点数。该优选技术方案能够实时处理任务，当任务完成后能够及时释放处理设备的能力，使其继续处理下一任务。

优选的，所述获取待处理任务所需的设备负载点数步骤之前还包括：预设各个待处理任务所需的设备负载点数。

优选的，所述待处理任务是视频转码处理任务，所述获取待处理任务所需的设备负载点数的步骤包括：

对每个不同的视频格式转码，预设基础消耗点数X和时长修正系数Y，待处理任务所需的设备负载点数为X+Y*时长；

所述时长修正系数Y为：在添加新格式的时候预设一个初始值，然后每次处理该视频会有视频时长和处理消耗时长的统计计算，最终得出每个不同的视频格式转码处理时长修正系数。

优选的，所述获取各个处理设备的当前总负载点数的步骤包括：计算所述各个处理设备的待处理任务等待队列中的所有任务所需的设备负载点数之和，得到所述处理设备的任务等待队列的总设备负载点数；计算所述各个处理设备当前的负载点数与其任务等待队列的总设备负载点数之和，得到所述各个处理设备的当前总负载点数。

本发明的另一个方面，提供了一种任务调度装置，包括任务获取模块、负载监控模块和任务调度模块，其中，所述任务获取模块，用于获取待处理任务和所述待处理任务所需的设备负载点数；所述负载监控模块，用于获取各个处理设备的当前总负载点数；所述任务调度模块，用于将所述待处理任务分配给当前总负载点数最小的处理设备。

优选的，所述任务调度模块包括：寻优单元，用于找出当前总负载点数最小的处理设备；任务分配单元，用于将所述待处理任务分配给所述寻优模块找出的当前总负载点数最小的处理设备；负载更新单元，用于更新所述任务分配模块分配任务后的所述处理设备的当前总负载点数；任务释放单元，用于待所述待处理任务处理完毕后，释放所述处理设备的处理能力，更新所述处理设备的总负载点数。

优选的，所述任务获取模块包括：设备负载点数计算单元，用于对每个不同的视频格式转码，预设基础消耗点数X和时长修正系数Y，待处理任务所需的设备负载点数为X+Y*时长；