[发明专利]分布式高性能计算环境中实时任务的调度方法

摘要

本发明公开一种针对分布式高性能计算系统的实时任务调度方法。该调度方法采用随机服务理论来计算资源动态服务能力与任务实时性需求两者之间的匹配关系，然后通过一个可扩展的多策略混合调度体系来评估各种调度策略所对应的实时保证度，并选择实时保证能力最优策略为任务提供调度服务，从而提高分布式实时任务的QoS满意度。该实时调度方法的主要优点是：在负载随机性极强的分布式系统中，可动态、高效地定量分析“负载波动-实时保证”两者之间的关系；采用可扩展的设计模式，可以高效地集成已有各种调度算法和策略，并在系统运行时刻进行自适应地调整调度策略。

主权项

1.一种分布式高性能计算环境中实时任务的调度方法，其特征在于：步骤一.采用随机服务理论，建立分布式资源的动态服务能力模型；具体流程如下：(1)选择典型的工作任务负载注入目标系统，其执行过程和执行结果相关的日志统计信息存入“日志统计数据库”和“随机模型参数库”；(2)“随机模型参数库”依据步骤1所得日志统计信息进行提炼和筛选，对各种统计参数所适用的概率分布模型进行回归逼近；(3)依据步骤2所得的参数概率分布模型，建立相应的随机服务模型，并以七元组<ID：Pro1/Pro2/Con/S1/S2/S3>的形式存入“资源随机模型库”；其中，ID为随机模型名称，Pro1为任务到达间隔的概率分布模型，Pro2为服务时间的概率分布模型，S1为时间窗口内的平均并发服务数，S2和S3为特殊服务模型的特定参数；(4)当前任务的统计信息通过“参数拟合与校准”与以前建立的随机服务模型进行误差校准与拟合；具体方法是：以时间窗口尺寸S为周期，对在该时间窗口内的统计信息进行滑动平均；步骤二.量化计算调度方案对任务的实时性保证度，具体步骤如下：(1)输入特定任务的需求描述，以及步骤一所建立的资源服务能力模型及其特征参数；(2)若任务可切分为完全独立的子任务，则分别计算出各个子任务的实时性保证度；若任务为工作流任务，则将其前驱任务的关联程度作为影响因子SC_i，j并入实时性保证度中，SC_i，j计算公式如下所示：SCi,j=1,iftj∈Seti-(ti)ortj∈Seti+(ti)Σ(TCi·TCj)-TC‾i·TC‾j(ΣTCi2-(ΣTCi)2N)(ΣTCj2-(ΣTCj)2N)---(1)]]>其中，TC_i和TC_j为随机变量，分别表示任务t_i和t_j的实际完成时间；(3)若资源的服务模型为M/M/C型，则任务实时保证度计算公式为：Pr{ω≤d}=δ[Σn=0ci(ρi·ci)nn!+Σk=1ciμid-1ρik+ci·cicici!]---(2)]]>其中c_i，λ_i，μ_i，ρ_i均为资源服务能力模型的特征参数，d为任务的截止时间约束；(3)若资源的服务模型为M/M/1型，则任务实时保证度计算公式为：Pr{ω≤d}=Σk=0μkdj-1(1-ρi)ρik---(3)]]>步骤三.利用多策略混合调度体系选择实时保证度最优的调度方案为任务服务，具体流程如下：(1)元调度器负责接收用户任务，并将用户对任务的描述转换为系统可识别的“任务需求描述”；(2)标准化的“任务需求描述”作为底层各种种协同调度策略的输入参数，用于生成其各自策略所对应的协同调度方案(S₁，S₂，...，S_n)，并将其作为决策器的输入参数；(3)决策器采用步骤二中的方法计算调度方案对特定任务的实时保证度，并选择实时保证度最好的调度方案S^*作为最终的任务协同调度方案，然后提交给元调度器执行；(4)元调度器依据S^*给出的协同调度方案将所有任务派发到对应的计算资源站点，并由各个资源站点的本地调度器进行具体的资源分配与执行。