[发明专利]基于二分法的分布式计算任务调度方法及设备

说明书

本发明公开了一种基于二分法的分布式计算任务调度方法及设备。所述方法，包括以下步骤：步骤101，获得分布式计算的任务调度信息；步骤102，基于任务调度信息估算任务调度的上边界和下边界；步骤103，基于二分法，根据上边界和下边界获取预计调度完成时间；步骤104，基于任务调度信息获得任务队列；根据预计调度完成时间，依序给队列中的每个任务分配核心数目、主机、核心以及数据块；并基于二分法调整上边界或下边界，执行步骤103，直至满足预设调度完成条件。本申请通过使用二分搜索策略搜索任务队列以得到合适的预计调度完成时间，同时通过逐步递增任务的核心数目，实现对核心和数据块的分配，以得到较优的解，提高了计算效率。

技术领域

本发明涉及分布式计算领域，具体涉及一种基于二分法的分布式计算任务调度方法及设备。

背景技术

分布式数据处理平台主要由上层的分布式计算组件和底层的分布式存储系统两层构成。底层分布式存储系统的热门产品主要有HDFS、Ceph及OpenStack Swift等，上层分布式计算组件的热门产品主要有MapReduce和Spark等。

分布式存储系统是一种允许文件透过网络在多台主机Host上分享的文件系统，可在多Host上分享文件和存储空间。

由于分布式存储系统的快速发展，大大促进了分布式计算的发展。分布式计算是一种计算方法，和集中式计算是相对的。随着计算技术的发展，有些应用需要非常巨大的计算能力才能完成，如果采用集中式计算，需要耗费相当长的时间来完成。分布式计算将该应用分解成许多小的部分，分配给多台计算机进行处理，以节约整体计算时间，实现了计算效率的提高。分布式计算具有计算效率快，减少数据传输，最大化利用闲置资源等优点。

在分布式系统中，数据(Block)和计算资源(core)分布在不同的主机(Host)上。即文件数据存储的数据(Block)具有多副本(replica)，每个Host包括多个计算资源(即CPU核，又记作core)。“协调数据和计算资源高效完成任务(job)”成为了提升集群性能的重中之重。简单地说，优秀调度算法的作用是决定一个job的各个Block需选哪份副本数据(replica)，以及在集群中的哪台主机(Host)上面的哪个计算资源(core)运行。

现有的分布式计算的调度算法多为轮转法或是加权法，调度时，任务间存在依赖关系，因此在调度任务多的应用场景下，计算效率不够高。

发明内容

本发明的目的在于克服现有技术中所存在的调度算法计算效率不高的不足，提供一种基于二分法的分布式计算任务调度方法及设备，所述方法及设备通过使用二分搜索策略搜索任务队列以得到合适的预计调度完成时间，同时通过逐步递增任务的核心数目，实现对核心和数据块的分配，以得到较优的解，提高了计算效率。

为了实现上述发明目的，本发明提供了以下技术方案：

一种基于二分法的分布式计算任务调度方法，包括以下步骤：

步骤101，获得分布式计算的任务调度信息；

步骤102，基于任务调度信息估算任务调度的上边界和下边界；

步骤103，基于二分法，根据上边界和下边界获取预计调度完成时间；

步骤104，基于任务调度信息获得任务队列；根据预计调度完成时间，依序给队列中的每个任务分配核心数目、主机、核心以及数据块；并基于二分法调整上边界或下边界，执行步骤103，直至满足预设调度完成条件；

步骤104的具体步骤如下所示：

步骤1041，获取待分配任务，设置初始核心数目，将初始核心数目记作核心数目；

步骤1042，选择主机、核心与数据块；