[发明专利]基于资源预分配与公共引导代理的多核作业调度方法

权利要求书

1.基于资源预分配与公共引导代理的多核作业调度方法，其特征在于，该方法包括以下步骤：

步骤1）用户作业分类

用统一的方式规范化不同类型作业的基本信息、资源需求及状态转换，并通过分析用户作业的需求特征，把相同特征的用户作业归入同一作业队列，形成规范化作业；

步骤2）资源状态采集

获取站点资源配置信息，依据不同的层次对站点资源信息进行分类，获取单核和多核队列的资源状态，依据当前资源管理系统提供的站点资源使用情况，得出各个队列所支持的用户作业的需求类型，将资源信息与作业队列需求进行匹配检测，记录满足需求的队列的资源特征；

步骤3）分布式资源分配

对用户作业指定站点的作业处理环境进行检测，依据当前作业等待队列的源需求，利用资源管理系统提供的当前引导代理的运行状态，以站点作业调度队列信息、引导代理的提交数量、引导代理的大小、用户的认证信息以及作业的运行共享目录为参数，通过资源公共访问接口，向用户指定站点的作业调度队列提交引导代理作业并占据与引导代理大小相同的计算资源，以方便用户作业的拉取；

步骤4）作业调度

检测满足资源需求的作业等待队列，依据检测结果，以当前可利用的计算资源为主，在作业等待队列中随机匹配满足资源需求的用户作业，将成功匹配的作业添加到执行队列，并为作业提供执行所需的基本信息，监控作业运行情况以及资源状态，实时更新作业的状态和引导代理的可利用资源数；

步骤5）作业并行化执行

初始化引导代理作业的资源共享池，依据该作业的标识信息，从资源管理系统中获取作业的输入文件、输出日志和文件信息的配置信息，获取当前资源之内的可利用资源数，并依据本地站点调度队列的资源类型，将计算资源分配给当前用户作业，在资源池内创建调度进程执行用户作业，并实时监控作业的运行情况；

步骤6）获取作业输出结果文件，日志文件以及错误信息。

2.根据权利要求1所述的基于资源预分配与公共引导代理的多核作业调度方法，其特征在于，所述步骤1）中的规范化作业包括以下三个部分：

A.基本信息

描述作业的基本属性，包括作业号、作业类型、所属用户、作业组、作业优先级及相关联的文件信息；

B.需求信息

描述作业调度和执行所需的存储、内存和CPU资源的信息，包括执行环境、指定站点、所需CPU资源、存储空间及CPU运行时间；

C.状态信息

描述用户作业在生命周期内的状态以及资源实际使用的信息，包括作业的基本状态、创建时间、开始执行时间、完成时间、所处节点信息、内存实际消耗、CPU实际运行时间。

3.根据权利要求1所述的基于资源预分配与公共引导代理的多核作业调度方法，其特征在于，所述步骤3）中采用资源预分配策略，将引导代理作业作为资源预留容器发送到分布式计算平台的指定站点，引导代理大小被指定为该调度队列可支持最大作业核数和当前最大作业需求核数两者的最小值，引导代理作业的数量则是由资源状态和作业队列信息共同决定的，计算公式为：

pilotsToSubmit=max(0,min(totalSlots,totalTQJobs-totalWaitingPilots))，

其中，pilotsToSubmit为站点代理一次循环下提交引导代理作业的数量，totalSlots为该站点资源数量，totalTQJobs为当前队列的作业等待数量，totalWaitingPilots为当前等待占取资源的引导代理数量。

4.根据权利要求1所述的基于资源预分配与公共引导代理的多核作业调度方法，其特征在于，所述步骤4）至步骤5）是在公用引导代理调度模式下，完成多核作业的调度与执行，作业的调度从计算站点移动到引导代理内部，假设现有M个混合作业等待调度，是第i个作业的核数，i∈[1,M]，若站点存在N核引导代理，当+...+≤N时，其中1≤k≤m≤M，则作业...可被引导代理同时调度执行，若+...+=N，则表示引导代理资源无空闲，反之则会产生资源碎片；

在多用户不同类型作业的调度与执行情况下，将作业的完成情况及资源利用率作为系统性能的评价指标，作业资源利用率的计算公式可表示为：

，

其中，站点可用资源数为N，作业完成数目为n，为第i个作业的核数，为该作业的运行时间。

5.根据权利要求2所述的基于资源预分配与公共引导代理的多核作业调度方法，其特征在于，所述作业的基本状态包括等待、匹配、运行、结束和失败。