[发明专利]用户作业调度方法及装置

说明书

技术领域

本发明涉及信息技术领域，尤其涉及一种用户作业调度方法及装置。

背景技术

分布式系统基础架构(Hadoop)的缺省作业调度采用简单的单一主节点的主从结构，即一个主节点(Job Tracker)管理一系列从节点(TaskTracker)。其中，Job Tracker负责用户作业的任务划分、状态监控、错误恢复以及Task Tracker的状态维护；Task Tracker负责具体任务的执行和本地资源的管理。Task Tracker的计算能力以任务槽(slot)的形式提供，依据任务类型的不同，slot分为Map槽和Reduce槽，分别用于执行Map任务和Reduce任务。

现有技术在多用户共享场景中，Hadoop的作业调度过程包含三个步骤：首先是作业选择，其次是在选定作业内选择一个任务，最后将该任务分发到请求任务的Task Tracker上执行。当一个计算节点的TaskTracker发现一个任务完成，存在可用的任务槽时，就会在下次的心跳消息中附加任务请求信息发送给主节点Job Tracker，然后JobTracker执行调度算法，遍历所有作业的可执行任务，依据公平份额调度算法选取适合的任务分配给任务槽进行处理。但是，该方法执行效率低下。

发明内容

本发明提供一种用户作业调度方法和装置，用以解决现有技术中，用户作业调度方法执行效率低下的问题。

一方面，本发明实施例提供一种用户作业调度方法，其特征在于，包括：

管理节点接收任务调度触发信号；

所述管理节点根据所述任务调度触发信号，在分布式系统的各计算节点中确定待作业任务处理时间最短的目标计算节点；

所述管理节点将所述待作业任务发送至所述目标计算节点的任务缓存队列中。

本发明实施例提供另一种用户作业调度方法，其特征在于，包括：

计算节点的任务缓存队列中接收管理节点发送的待作业任务，所述计算节点为所述管理节点在分布式系统的各计算节点中确定的所述待作业任务处理时间最短的计算节点；

所述计算节点执行所述任务缓存队列中存储的所述待作业任务。

另一方面，本发明实施例提供一种用户作业调度装置，包括：接收模块、处理模块和发送模块；

所述接收模块，用于接收任务调度触发信号；

所述处理模块，用于根据所述任务调度触发信号，在分布式系统的各计算节点中确定待作业任务处理时间最短的目标计算节点；

所述发送模块，用于将所述待作业任务发送至所述目标计算节点的任务缓存队列中。

本发明实施例提供另一种用户作业调度装置，包括：接收模块和处理模块；

所述接收模块，用于接收管理节点发送的待作业任务并存储至计算节点的任务缓存队列中，所述计算节点为所述管理节点在分布式系统的各计算节点中确定的所述待作业任务处理时间最短的计算节点；

所述处理模块，用于执行所述任务缓存队列中存储的所述待作业任务。

本发明提供的用户作业调度方法和装置，管理节点接收任务调度触发信号，在分布式系统的各计算节点中确定待作业任务处理时间最短的目标计算节点，并将待作业任务发送至该目标计算节点的任务缓存队列中；计算节点接收到管理节点发送的待作业任务后，执行该待作业任务，提高了执行效率。

附图说明

图1为本发明提供的用户作业调度方法一个实施例的流程图；

图2为本发明提供的用户作业调度方法另一个实施例的流程图；

图3为本发明提供的用户作业调度方法又一个实施例的流程图；

图4为本发明提供的基于最小代价流的多用户任务调度的网络流图；

图5为本发明提供的用户作业调度装置一个实施例的结构示意图；

图6为本发明提供的用户作业调度装置另一个实施例的结构示意图；

图7为本发明提供的用户作业调度装置又一个实施例的结构示意图；

图8为本发明提供的用户作业调度装置结构示意图。

具体实施方式

图1为本发明提供的用户作业调度方法一个实施例的流程图。如图1所示，以下步骤的执行主体可以为分布式系统基础架构中用于作业调度的管理节点，也可称作主节点或调度节点；可以管理一系列计算节点，并可向计算节点分配任务。该用户作业调度方法具体包括：

S101，管理节点接收任务调度触发信号；