[发明专利]基于资源预分配与公共引导代理的多核作业调度方法

摘要

本发明是基于资源预分配与公共引导代理的多核作业调度方法，采用统一的方式规范化不同类型作业的基本信息、资源需求及状态转换；获取站点资源配置信息，依据不同的层次对站点资源信息进行分类；依据当前资源管理系统提供的站点资源使用情况，得出用户作业的需求类型；以站点作业调度队列信息、引导代理作业的提交数量、引导代理作业的大小、用户的认证信息以及作业的运行共享目录为参数，向用户指定站点的作业调度队列提交引导代理作业并占据与引导代理大小相同的计算资源；依据作业的标识信息，创建调度进程执行用户作业。本发明的计算资源分配方式简单、耗时短，以公用引导代理的方实现了多核作业的调度，大大的减少了内存资源的消耗问题。

主权项

1.基于资源预分配与公共引导代理的多核作业调度方法，其特征在于，该方法包括以下步骤：步骤1）用户作业分类用统一的方式规范化不同类型作业的基本信息、资源需求及状态转换，并通过分析用户作业的需求特征，把相同特征的用户作业归入同一作业队列，形成规范化作业；步骤2）资源状态采集获取站点资源配置信息，依据不同的层次对站点资源信息进行分类，获取单核和多核队列的资源状态，依据当前资源管理系统提供的站点资源使用情况，得出各个队列所支持的用户作业的需求类型，将资源信息与作业队列需求进行匹配检测，记录满足需求的队列的资源特征；步骤3）分布式资源分配对用户作业指定站点的作业处理环境进行检测，依据当前作业等待队列的源需求，利用资源管理系统提供的当前引导代理的运行状态，以站点作业调度队列信息、引导代理的提交数量、引导代理的大小、用户的认证信息以及作业的运行共享目录为参数，通过资源公共访问接口，向用户指定站点的作业调度队列提交引导代理作业并占据与引导代理大小相同的计算资源，以方便用户作业的拉取；步骤4）作业调度检测满足资源需求的作业等待队列，依据检测结果，以当前可利用的计算资源为主，在作业等待队列中随机匹配满足资源需求的用户作业，将成功匹配的作业添加到执行队列，并为作业提供执行所需的基本信息，监控作业运行情况以及资源状态，实时更新作业的状态和引导代理的可利用资源数；步骤5）作业并行化执行初始化引导代理作业的资源共享池，依据该作业的标识信息，从资源管理系统中获取作业的输入文件、输出日志和文件信息的配置信息，获取当前资源之内的可利用资源数，并依据本地站点调度队列的资源类型，将计算资源分配给当前用户作业，在资源池内创建调度进程执行用户作业，并实时监控作业的运行情况。步骤6）获取作业输出结果文件，日志文件以及错误信息。