[发明专利]一种任务调度处理方法、装置及系统

说明书

本申请提供一种任务调度处理方法、装置及系统。所述方法可以包括将资源池中的任务处理通道信息映射成配置中心的通道资源信息；当接收到至少一个作业任务的调度请求时，向所述配置中心查询是否有处理所述作业任务的空闲通道资源；当所述配置中心的查询结果为存在所述空闲通道资源时，按照为所述作业任务设定的资源分配优先级从所述资源池中选取与所述调度请求对应的任务处理通道分配给相应的作业任务。利用本申请中各个实施例，可以采用配置多通道的处理方式解决单个作业僵死引起的通道阻塞问题，并且能提供多个作业任务并行提交、并行处理，快速、高效的为作业任务分配所需的资源，大大提高任务调度处理效率和资源利用率。

技术领域

本申请属于计算机数据处理领域，尤其涉及一种任务调度处理方法、装置及系统。

背景技术

随着信息技术的发展和数据业务处理要求的提高，分布式系统由于高度的内聚性和透明线受到越来越多的关注。

在分布式任务处理场景下，通常每个任务有一个Driver(主调度者或驱动)调度多个Excutor(执行者或执行程序)。图1为现有分布式场景下任务调度处理方案的示意图，如图1所示，现有技术中可以部署一个物理集群，所述物理集群中的服务器通常采用master-slave构架模式，即一个master(主服务器)管理调度多个slave(从服务器)。运行程序可以将jar包分发到集群中的所有机器上，向maser申请机器CPU、内存资源等。然后可以启动submit命令，提交主程序，启动整个调度任务。根据用户发送的作业请求向maser申请作业资源。申请成功后启动当前作业任务，具体的可以将当前作业任务分发给master下主管的多个slave进行处理。当前作业任务执行完毕后释放作业资源。然后再次根据用户的作业请求处理下一个作业任务。

现有技术中分布式场景下的这种处理任务的运行模式在作业执行层面如slave或Excutor是分布式执行的，但是单个Driver是按照单线程进行调度任务到作业执行层面。这样会导致单个作业占用所有资源，在一个作业需要的资源较少的情况下会浪费其他空闲资源。并且，在先入先出的机制下，如果一个作业的执行时间很长，会导致后面的作业任务都得到不到资源分配，出现通道阻塞，引起作业饿死的现象。因此，现有技术中分布式场景下的单一通道任务调度处理机制会还存在资源浪费、作业异常时后续作业无法执行，处理效率低下的问题。

发明内容

本申请目的在于提供一种任务调度处理方法、装置及系统，可以采用配置多通道的处理方式解决单个作业僵死引起的通道阻塞问题，并且能提供多个作业任务并行提交、并行处理，快速、高效的为作业任务分配所需的资源，大大提高任务调度处理效率和资源利用率。

本申请提供的一种任务调度处理方法、装置及系统是这样实现的：

一种任务调度处理方法，所述方法包括：

将资源池中的任务处理通道信息映射成配置中心的通道资源信息；

当接收到至少一个作业任务的调度请求时，向所述配置中心查询是否有处理所述作业任务的空闲通道资源；

当所述配置中心的查询结果为存在所述空闲通道资源时，按照为所述作业任务设定的资源分配优先级从所述资源池中选取与所述调度请求对应的任务处理通道分配给相应的作业任务。

一种任务调度处理装置，所述装置包括：

资源池，用于存储部署的任务处理通道的资源；

配置中心，用于获取资源池中的任务处理通道信息映射成的通道资源信息；

资源查询模块，用于当接收到至少一个作业任务的调度请求时，向所述配置中心查询是否有处理所述作业任务的空闲通道资源；

调度处理模块，用于当所述配置中心的查询结果为存在所述空闲通道资源时，按照为所述作业任务设定的资源分配优先级从所述资源池中选取与所述调度请求对应的任务处理通道分配给相应的作业任务。