[发明专利]一种具有弹性架构的集群作业调度系统

摘要

本发明提供了一种具有弹性架构的集群作业调度系统，本作业调度系统采用B/S结构，客户端通过web浏览器即可方便地实现作业的提交和管理，为多集群上作业的管理提供了单一的系统映像。系统结构包括：调度器管理模块、资源管理模块、作业管理模块、应用管理模块和策略管理模块，调度器管理模块可以在集群间和集群内部建立不同的调度器，每个调度器选择使用的调度策略可以各不相同，作业管理模块根据作业的应用属性，从应用管理模块中获得相应应用的配置和应用运行命令，当作业提交时，自动生成作业运行脚本，为作业调度提供了灵活的调度机制，方便用户使用。

主权项

1、一种具有弹性架构的集群作业调度系统，其特征在于，系统采用B/S结构，客户端通过浏览器远程实现作业的提交和管理；系统允许在集群间和集群内部建立不同的调度器，每个调度器选择使用的调度策略相同或不同，作业提交时根据其应用属性，自动生成该应用的配置和运行脚本，当集群规模小，作业调度规则要求单一时，采用一个调度器的方式进行调度，当集群规模较大时或者要求集群内部节点使用不同作业调度规则时，扩展多个调度器进行调度，用户根据需要为不同的调度器选择不同的调度规则；作业调度系统包括调度器管理模块，策略管理模块、资源管理模块、作业管理模块和应用管理模块，其中调度器管理模块与策略管理模块、资源管理模块、作业管理模块相连，作业管理模块又与应用管理模块和资源管理模块相连，五模块共同协作完成作业的调度；调度器管理模块负责创建调度器，控制调度器的状态，在集群间和集群内部建立的调度器是不同的，集群间的调度器是应用调度器，负责将作业按照作业的应用属性分配到具有该应用的集群上，即将任务提交给具有某个应用属性的队列里，集群内部调度器负责按用户设定的调度策略调度在该集群队列中的任务，当大规模集群时，通过把这个大集群划分成小集群，扩展集群内调度器，降低一个调度器时的调度负载和通讯负载，来支持大规模的集群应用；策略管理模块负责调度策略的制定，系统中包含作业的调度策略和资源的调度策略，其中作业的调度策略包括优先级、资源公平共享、资源需求的策略，并允许用户自定义调度策略；资源的调度策略包括CPU负载低优先，资源先空闲先使用，最小满足需求的资源优先策略；调度器需要选择要使用的调度策略，这些调度策略相同或不同；资源管理模块负责包括集群、功能池、节点的管理，其中节点的管理包括收集节点的静态信息、负载信息；静态信息包括，按核计算的CPU个数，CPU类型，内存大小，磁盘容量；负载信息包括CPU利用率、内存利用率、磁盘利用率，调度器需要根据资源管理模块提供的信息进行调度；作业管理模块负责作业的提交、修改、删除、重启、挂起、退出、强制执行，作业管理模块与资源管理模块和应用管理模块相连，作业创建时，选择提交的集群和节点，这些集群和节点是资源管理模块提供的；作业创建时时有一个应用属性，选择某一应用后，填写这个应用相关的参数配置，当作业提交时根据该应用的运行命令和参数配置信息，自动生成作业运行脚本，应用相关的参数和应用运行命令都是应用管理模块提供的，应用管理模块负责应用的添加、删除，应用添加时，用户界面中提示，填写应用名称，添加应用运行的命令，添加应用描述，添加应用参数的格式，添加应用参数。