[发明专利]一种基于云平台的调度方法及系统

说明书

技术领域

本发明涉及领云平台上的任务调度技术域，尤其涉及一种基于云平台的调度方法及系统。

背景技术

云平台的调度相对来说还处于初始发展时期,在这个领域里比较成熟的系统并不多，Amazon的弹性云计算服务（EC2：Elastic Compute Cloud）在功能上也是根据要生成的应用实例的数量动态地分配或释放虚拟机，但EC2是处于基础结构级的服务，应用开发者还需要自行对虚拟机进行管理。调度器本身也没有针对行业应用，或数据的优化。

Google的MapReduce系统以及Hadoop开源系统也提供了任务调度功能，但它们只是针对MapReduce应用的运行，而且运行环境需要和特定的专用文件系统进行绑定，应用所使用的数据也需要预先进行分区存放，从这个角度来说并不具有动态获取和释放服务器的功能，资源的利用效率也跟数据的存放很有关系。

另外传统的集群调度程序，如Condor，PBS等也能对上千台服务器进行调度，但这些系统经常囊括了很多附属功能，从而造成系统庞大笨重，每派发一个任务需要较长时间（几秒甚至更多），任务吞吐量较低（不超过30TPS），这对于需要快速实时的用户响应情况不太合适，在处理大规模的任务请求时开销也比较大。

发明内容

本发明的目的在于提出一种高效且使能耗降低的基于云平台的调度方法及系统。

为达此目的，本发明采用以下技术方案：

一种基于云平台的调度方法，包括：

用户应用程序发送任务请求至管理器，管理器把任务请求中的任务转换成预设的格式，并将任务请求提交给高速调度器；

高速调度器根据任务请求的大小计算出资源请求，并把资源请求发送给资源获取/释放器；

资源获取/释放器根据资源请求的大小来获取或释放资源，若资源请求超过当前高速调度器的负载，则资源获取/释放器获取资源，并将获取的资源作为运行器分配给高速调度器；若资源请求小于当前高速调度器的负载，则资源获取/释放器释放运行器为空闲的云资源；

运行器在启动时由外网服务器获得外网地址和端口，然后向高速调度器注册；

高速调度器根据调度机制将所述任务请求分配给所述运行器，运行器执行并完成任务，并通过高速调度器将完成的任务提交给管理器，管理器再将其提交给用户应用程序。

采用分级式的高速调度器，把资源获取和任务派发分离开，传统的资源管理器，由于把资源管理、获取和任务派发集成在一起，这样影响了任务派发的效率，也使得改进已有资源管理器上比较困难，本方法把资源的获取这一模块分离开，交给动态资源获取/释放器来负责，一旦资源获取之后，将获取的资源作为任务运行器，这样能保证任务请求在极短的时间内被分派运行。

其中，调度机制为流水线调度机制：高速调度器采用轻型高效的调度机制，任务的调度采用的是基于“推”和“拉”的混合模式，高速调度器在有任务需要执行时，向所有空闲运行器发送通知，接到通知的运行器到高速调度器接取任务，执行并返回结果给高速调度器。

高速调度器和运行器本身都采用自底向上的实现方法，从最简单最快捷的功能开始实现，并把高速调度器和运行器之间的交互降低到最低，在正常情况下，分派一个任务只需要交换3条信息：1、通知运行器有任务要执行；2、运行器取走任务；3、运行器返回结果。在一定情况下，还可以将多个任务打包在一起，送给运行器，或者是在运行器送结果时顺便再发送一个任务，也即Piggyback优化策略，这样每个任务平均所需消息还可以降低。

其中，调度机制包含基于任务相关性的调度算法，所述任务请求与之前的任务请求具有相关性，该任务请求被分配到执行所述之前的任务请求的运行器。

云平台上运行的任务通常具有相关性，也就是说有些任务的输出，会被其他任务用作输入，这对于数据密集的行业任务尤其明显，比如在医疗系统中的数据挖掘业务，数据量非常大，后续任务所需要的数据往往是前面已完成任务的输出，基于任务相关性的调度算法能够根据任务请求的相关性，把该任务请求调度到存有它所需要的数据的运行器上运行，这样可以尽可能地减少数据移动，缩短任务的执行时间，对用户来说不仅可以享受到快速的服务，还能因为数据流量和运行时间的减少而减少使用费。

其中，高速调度器设置有一个全局缓存，每个所述运行器设置有一个局部缓存，所述全局缓存和局部缓存组成多级缓存。