[发明专利]一种平台无关的可扩展的分布式系统任务调度支撑框架

说明书

本发明公开了一种平台无关的可扩展的分布式系统任务调度支撑框架，其特征在于，包括信息采集器、信息优化器、注册服务与运行管理服务。本发明有益效果是：本发明中设计的框架将集群的分析和建模工作从具体的调度框架解耦，将调度算法中的大部分计算工作从主节点卸载到整个集群运行以降低主节点的负载，同时解耦调度算法设计和实现中的对于具体调度框架或集群框架的依赖，实现集群分析算法、建模算法和调度算法的跨语言跨平台能力。

技术领域

本发明涉及分布式计算领域，具体涉及一种平台无关的可扩展的分布式系统任务调度支撑框架。

背景技术

如今，大数据及机器学习已经在工业界和学术界得到广泛研究和使用，并开始在各方面影响人们的生活，例如医疗影像分析、电子健康记录、智能交通系统、智慧城市等。这些技术发展的一个重要基础是有足够的计算能力作为支撑，虽然目前计算机硬件计算能力大幅度提升，但是对于众多计算密集型任务来说还是杯水车薪，需要结合众多计算资源组成强大的计算集群，其中分布式计算是提供计算力支撑的一个非常重要的途径，而任务调度则在分布式计算中扮演着至关重要的角色，不同的调度算法一般对应着不同的任务特性和不同的分布式集群特性，选择合适的调度算法有助于降低任务平均响应时间和平均执行时间，从而提高系统的整体性能。因其重要性，要发挥分布式计算的算力优势，充分利用分布式集群的算力资源，分布式系统调度算法一直是分布式系统研究领域的一个热点问题。

近年来，随着云计算的发展也有大量关于云环境下分布式系统调度算法的研究，对云环境下集群特征和应用特征进行专门的优化。此外，随着GPU、FPGA以及IPU等异构计算资源的加入，集群中硬件资源越来越丰富多样，各类芯片对于不同类型的计算在性能、功耗上表现各不相同，这要求分布式调度算法能能够准确地了解应用特性和硬件特性，以达到在复杂的异构分布式环境下的高效的任务调度。同时，越来越多的用户将其应用部署在云平台之上，使得集群中的任务种类越来越多，不同任务对服务质量的要求、对资源的需求、对实时性的要求等等都不尽相同。面对这些复杂多变的因素，如何合理地为需求各异的任务合理分配硬件资源是一个非常重要且困难的问题，这为分布式集群中的任务调度带来了新的更大的挑战。

一方面，为了更有效地进行任务调度，调度算法必须考虑大量的软硬件因素，这使得调度算法的设计变得困难且具有平台依赖性，不容易保证算法的健壮性和纯粹性，且对于不同的集群系统和调度框架，调度算法需要进行单独设计和实现；同时集群的软硬件资源和环境的不断更新迭代，也可能导致原先设计好的调度算法变得不再适用，从而需要对其进行不同程度的调整和改进，甚至在新型资源加入时需要重新设计，例如在GPU作为计算资源加入集群之后，就有大量针对CPU-GPU集群的调度算法的相关研究，有研究结果表明，根据应用程序是否适合使用GPU加速以及底层硬件的配置情况对MapReduce框架中的任务调度进行优化，相比于Hadoop原生调度算法，在包含64个节点128个GPU的Hadoop集群中，能够将性能提升近2倍；有模拟结果显示，对云游戏服务器集群中的游戏任务进行细分，以更合理的使用GPU和CPU资源，进而提高资源利用率和集群效率，在同样负载下优化后的算法可将服务节点的数量需求降低至原先的26.4%。也即，不断演变的软硬件环境迫使调度算法的研究者必须深入集群硬件特性和软件特性的研究，针对其设计专门优化的调度算法，而对于各种不同的框架，研究者们还需要进行各自的设计和实现，其中存在大量重复性的和不必要的工作。