[发明专利]一种具有弹性架构的集群作业调度系统

说明书

技术领域

本发明涉及计算机领域，具体涉及高性能计算集群中一种具有弹性体系架构的作业调度系统，尤其涉及一种支持多集群间作业调度的方法。

技术背景

随着计算机技术的发展，高性能计算在科学研究和工程技术中的作用越来越重要。在各个科学计算领域，都存在着相应的科学计算软件，用来辅助用户进行问题求解。但这些软件所面临的一个共同问题是，用户必须登录到集群系统上才能使用相应的软件，创建作业，提交作业。这就增加了用户使用软件的难度，降低了工作效率。此外，大部分高性能集群的操作系统都是Linux或Unix，用户要想使用某个科学计算软件必须首先学会使用Linux或Unix，极大的增加了用户的负担。目前市场上的同类作业调度系统产品主要有Platform MultiCluster。存在的不足是产品价格昂贵，集群内部的调度器只能是Platform LSF，而不支持其它集群调度器，无法为用户提供统一的图形界面和进行远程作业管理以及满足科学计算软件进行问题求解。

发明内容

本发明的目的是提供一种具有弹性架构的集群作业调度系统，作业调度系统是B/S架构的，为用户提供统一的图形界面和进行远程作业管理以及使用科学计算软件进行问题求解。系统同时支持在集群间建立调度器，支持多集群的调度，集群内部调度器支持OpenPBS、MAUI，并且可以扩展。

本发明要解决的问题是用户可以通过web提交作业，使用科学计算软件求解并且支持在集群间和集群内部建立不同的调度器，支持多集群以及大规模集群时的作业调度。本发明的系统还提供应用管理功能，自动生成作业运行时与应用相关的运行脚本。

本发明的作业调度系统，包括调度器管理模块，策略管理模块，资源管理模块，作业管理模块，应用管理模块。调度器管理模块与策略管理模块、资源管理模块、作业管理模块相连，作业管理模块又与应用管理模块和资源管理模块相连，五模块共同协作完成作业的调度。如图1所示。

调度器管理模块负责创建调度器，控制调度器的状态，在集群间和集群内部建立的调度器是不同的。集群间的调度器是应用调度器，负责将作业按照作业的应用属性分配到具有该应用的集群上，即将任务提交给具有某个应用属性的队列里。集群内部调度器负责按用户设定的调度策略调度在该集群队列中的任务。当大规模集群时，可以通过把这个大集群划分成小集群，扩展集群内调度器，降低一个调度器时的调度负载和通讯负载，来支持大规模的集群应用。

策略管理模块负责调度策略的制定，在本发明的系统中包含作业的调度策略和资源的调度策略。其中作业的调度策略，包括优先级、资源公平共享、资源需求的策略，并允许用户自定义调度策略；资源的调度策略包括CPU负载低优先，资源先空闲先使用，最小满足需求的资源优先策略。调度器需要选择要使用的调度策略，这些调度策略可以相同，也可以不同。资源管理模块，负责包括集群、功能池、节点的管理，其中节点的管理包括收集节点的静态信息、负载信息；静态信息包括，按核计算的CPU个数，CPU类型，内存大小，磁盘容量；负载信息包括CPU利用率、内存利用率、磁盘利用率。调度器需要根据资源管理模块提供的信息进行调度。

作业管理模块，负责作业的提交、修改、删除、重启、挂起、退出、强制执行，作业管理模块与资源管理模块和应用管理模块相连。作业创建时，可以选择提交的集群和节点，这些集群和节点是资源管理模块提供的；作业创建时时有一个应用属性，选择某一应用后，填写这个应用相关的参数配置，当作业提交时根据该应用的运行命令和参数配置信息，自动生成作业运行脚本，根据应用配置自动生成运行脚本的流程图，如图2所示。应用相关的参数和应用运行命令都是应用管理模块提供的，应用管理模块负责应用的添加、删除，应用添加时，用户界面中提示，填写应用名称，添加应用运行的命令，添加应用描述，添加应用参数的格式，添加应用参数。应用添加的流程图如例图3所示。