[发明专利]一种面向混合负载基于容器的集群资源管理方法及系统

权利要求书

1.一种面向混合负载基于容器的集群资源管理方法，其特征在于，所述集群中部署有容器化的运行环境，所述方法包括：在管理节点中执行的任务状态收集步骤、任务筛选步骤以及决策生成步骤；

所述任务状态收集步骤包括：获取各工作节点上任务的状态信息以及作业信息，将任务的状态信息与任务所属作业的作业信息合并为任务监控数据后存储到预先建立的时间序列中；

所述任务筛选步骤包括：根据所述时间序列中的监控数据识别出延迟敏感型任务中的Straggler任务和批处理任务中的资源冗余任务；

所述决策生成步骤包括：判断所述集群中可分配资源是否能够满足新任务和Straggler任务扩展的资源需求，若是，则为Straggler任务制定资源扩展策略；否则，通过资源回收和/或资源抢占的方式使所述集群中可分配资源能够满足新任务和Straggler任务扩展的资源需求后，为Straggler任务制定资源扩展策略。

2.如权利要求1所述的面向混合负载基于容器的集群资源管理方法，其特征在于，所述任务筛选步骤中，根据所述时间序列中的监控数据识别Straggler任务的方式包括如下步骤：

(S1)对于每一个延迟敏感型任务，从所述时间序列中获取任务在最近四个监控时刻t₁、t₂、t₃、t₄的处理进度p₁、p₂、p₃、p₄，以估算任务在两个不同时间段的平均处理速度分别为：v₁＝(p₂-p₁)/(t₂-t₁)，v₂＝(p₄-p₃)/(t₄-t₃)，并由此预估任务的完成时间为：T＝(1-p₄)/v₂+t₄；

(S2)若v₂v₁，则判定任务不是Straggler任务，转入步骤(S4)；否则，转入步骤(S3)；

(S3)若TT_SLO，判定任务不是Straggler任务，转入步骤(S4)；否则，判定任务为Straggler任务，转入步骤(S4)；

(S4)识别结束；

其中，t₁t₂t₃t₄；T_SLO是能够满足用户服务等级目标的最长的任务运行时间。

3.如权利要求1所述的面向混合负载基于容器的集群资源管理方法，其特征在于，所述任务筛选步骤中，根据所述时间序列中的监控数据识别资源冗余任务，其方式包括如下步骤：

(T1)对于每一个批处理任务，计算任务的实际资源利用率为：U_c＝Max{R_i|i∈S}/R_a；

(T2)若U_cU_ECRU，则判定任务为资源冗余任务；否则，判定任务不是资源冗余任务；

其中，S表示所述时间序列中任务相关状态信息对应的时间戳集合，R_i表示在i时刻任务实际使用的资源，R_a表示任务分配的资源，U_ECRU表示期望的集群资源利用率。