[发明专利]一种基于云平台的调度方法及系统

摘要

本发明涉及领云平台上的任务调度技术域，尤其涉及一种基于云平台的调度方法及系统，该方法包括发送任务请求至高速调度器；高速调度器根据任务请求的大小计算出资源请求；资源获取/释放器根据资源请求的大小来获取或释放资源；运行器在启动时向高速调度器注册；高速调度器根据调度机制将所述任务请求分配给所述运行器，运行器执行并完成任务，并通过高速调度器将完成的任务提交给管理器，管理器再将其提交给用户应用程序。该方法适用于在云平台上，尤其是云计算平台上高效的大规模任务的调度，资源获取/释放器能够动态地分配和释放资源，高速调度器采用轻型高效的调度机制，可以达到高任务吞吐量和支持多达数百万的运行器。

主权项

一种基于云平台的调度方法，其特征在于，包括：用户应用程序发送任务请求至管理器，管理器把任务请求中的任务转换成预设的格式，并将任务请求提交给高速调度器；高速调度器根据任务请求的大小计算出资源请求，并把资源请求发送给资源获取/释放器；资源获取/释放器根据资源请求的大小来获取或释放资源，若资源请求超过当前高速调度器的负载，则资源获取/释放器获取资源，并将获取的资源作为运行器分配给高速调度器；若资源请求小于当前高速调度器的负载，则资源获取/释放器释放运行器为空闲的云资源；运行器在启动时由外网服务器获得外网地址和端口，然后向高速调度器注册；高速调度器根据调度机制将所述任务请求分配给所述运行器，运行器执行并完成任务，并通过高速调度器将完成的任务提交给管理器，管理器再将其提交给用户应用程序，所述高速调度器设置有一个全局缓存，每个所述运行器设置有一个局部缓存，所述全局缓存和局部缓存组成多级缓存；其中，所述调度机制包含基于任务相关性的调度算法，所述任务请求与之前的任务请求具有相关性，该任务请求被分配到执行所述之前的任务请求的运行器；或者所述调度机制包含以下几种调度算法：a、选择第一个可用的运行器：这种算法并不考虑任务之间的数据相关性，当新任务到达时，直接选取一个可用的运行器，并把任务分配到该运行器，在这种情况下，我们需要把任务所需的数据都传输到运行器上；b、选择缓存命中最大的运行器：把任务分配到存有任务所需数据最多的运行器上，如果该运行器忙的话，就一直等待它运算完为止，这种算法能把数据传输减小到最小，但可能会减低资源利用效率，因为运行器上所存的数据分布不一定是均匀的；c、最大运算效率：这种算法尽量最大化资源利用效率，哪怕是要多花些时间在传输上面，基本上它也是考虑下一个可用运行器，但会优先选择存有较多任务所需数据的运行器，这样不需要等待繁忙的运行器；d、混合模式：结合b和c两种调度算法，设定一个资源利用效率的阈值，如果在阈值之上，就采用调度算法b，否则采用调度算法c。