[发明专利]基于资源预分配与公共引导代理的多核作业调度方法

说明书

本发明是基于资源预分配与公共引导代理的多核作业调度方法，采用统一的方式规范化不同类型作业的基本信息、资源需求及状态转换；获取站点资源配置信息，依据不同的层次对站点资源信息进行分类；依据当前资源管理系统提供的站点资源使用情况，得出用户作业的需求类型；以站点作业调度队列信息、引导代理作业的提交数量、引导代理作业的大小、用户的认证信息以及作业的运行共享目录为参数，向用户指定站点的作业调度队列提交引导代理作业并占据与引导代理大小相同的计算资源；依据作业的标识信息，创建调度进程执行用户作业。本发明的计算资源分配方式简单、耗时短，以公用引导代理的方实现了多核作业的调度，大大的减少了内存资源的消耗问题。

技术领域

本发明涉及高能物理实验领域，具体涉及一种基于资源预分配与公共引导代理的多核作业调度方法。

背景技术

为了处理和分析高能物理实验所产生模拟数据、数据处理产生的重建数据，并为物理学家提供良好的分析计算环境，分布式计算正是计算机辅助计算技术发展的必然结果。分布式计算技术是利用网络把异地的异构计算资源整合起来，形成一台虚拟的超级计算机，并为大规模的计算作业提供强大的计算能力。其中，代表性的有中间件、点对点传输、网页服务、网格和云计算技术。

国外高能物理领域对分布式计算系统的多核作业调度模式设计与资源分配技术的研究比较早，对实验作业的结构、作业调度模式以及多核资源的分配等工作做了大量的探索与研究，具有代表性的就是欧洲大型强子对撞机CMS(compact muon solenoid,紧凑型缪子螺线管探测器)和ATLAS(AToroidal LHC Apparatus,环形LHC装置)实验作业处理系统。相对于国外，JUNO(Jiangmen Underground Neutrino Observatory，江门中微子实验)的作业处理系统在多核并行方面的研究相对较少，最具有代表性的就是中科院高能物理研究所的JUNO并行仿真框架。

高能物理实验的作业处理过程主要包含作业的提交，资源的分配以及作业的处理，而作业的处理又包含作业的调度、执行以及结果的输出等功能，这也是高能物理分布式计算系统的核心。在现今状况下，随着实验数据量及事件复杂性不断的增加，将会导致每个作业的处理时间变长，极大地增加内存资源的消耗，从而导致实验现有的单核作业处理模式将难以满足每个单核作业的内存需求。本发明目的之一是提出一种耗时短且简单的资源分配策略；本发明另一目的旨在优化了用户对分布式计算资源的访问，实现了多核作业的调度与并行化执行。

发明内容

本发明的目的在于克服现有技术存在的问题，提供一种基于资源预分配与公共引导代理的多核作业调度方法，能够避免在分布式计算单核处理模式下内存资源不足的现象，并提高了分布式计算资源的利用率及作业处理效率。

为实现上述技术目的，达到上述技术效果，本发明通过以下技术方案实现：

一种基于资源预分配与公共引导代理的多核作业调度方法，该方法包括以下步骤：

步骤1）用户作业分类

用统一的方式规范化不同类型作业的基本信息、资源需求及状态转换，并通过分析用户作业的需求特征，把相同特征的用户作业归入同一作业队列，形成规范化作业；

步骤2）资源状态采集

获取站点资源配置信息，依据不同的层次对站点资源信息进行分类，获取单核和多核队列的资源状态，依据当前资源管理系统提供的站点资源使用情况，得出各个队列所支持的用户作业的需求类型，将资源信息与作业队列需求进行匹配检测，记录满足需求的队列的资源特征；

步骤3）分布式资源分配