[发明专利]一种异构环境下时空型混合负载调度优化方法

说明书

一种异构环境下时空型混合负载调度优化方法，包括：依据异构分布式集群的各计算节点的处理器将其划分为高/中性能计算节点；对排队待运行混合负载的传统资源请求{CPU/GPU，Mem}进行属性扩展，增加Label和Time两个属性；对排队待运行混合负载的资源请求增加属性Utility；构建调度优化模型目标函数增加针对负载的限制；增加针对计算节点的限制；求解模型。本发明采用效益函数扩充时空型混合负载的传统资源请求，为其构建全局调度优化模型，进行灵活的任务分配，在可用资源充足时尽量为任务分配偏好的资源，在偏好资源忙碌时为其分配其它可执行资源，来达到提高系统执行效率的目标。

技术领域：

本发明涉及计算机分布式集群技术领域，特别涉及一种异构环境下时空型混合负载调度优化方法。

背景技术：

随着信息技术的发展及集群规模的逐渐扩大，分布式集群逐渐趋向异构化。其中导致分布式集群下层硬件逐渐趋向异构化的原因为：1、为了满足不同应用的不同计算需求；2、由于集群规模扩大及集群内部机器损坏而导致的不断重新采购。同时，随着集群下层硬件趋向异构化，集群上层应用也逐渐趋向多样化且表现出时空特性，如具备时间特性的分析型任务有严格的截止时间要求，具备空间特性的深度学习任务在GPU节点有更高的运行效率等。所以如何在异构分布式系统中为时空型混合负载分配合理、高效的计算资源成为一个重要的问题。然而传统的分布式处理框架，如Apache Hadoop，Microsoft Dryad，DryadLINQ主要为同构的集群所设计和优化，不能利用异构计算节点的性能优势，在异构分布式系统对于时空型混合负载的处理有较差的性能表现。

发明内容：

针对以上问题，有必要设计一种异构环境下时空型混合负载调度优化方法，以充分利用现有资源满足不同应用的不同计算需求。

一种异构环境下时空型混合负载调度优化方法，包括以下步骤：

步骤一：依据异构分布式集群的各计算节点的处理器将其划分为高/中性能计算节点，并分别标记为L_G/L_N，为其静态添加节点类型标签；

步骤二：对排队待运行混合负载的传统资源请求{CPU/GPU，Mem}进行属性扩展，增加Label和Time两个属性；扩展后的资源请求为{CPU/GPU，Mem，Label，Time}；其中，Label代表该负载所有可分配的计算节点类型，Label∈[L_G,L_N]；Time代表该负载在各类可运行计算节点的执行时间；Mem表示内存储器容量；

步骤三：对排队待运行混合负载的资源请求增加属性Utility，Utility的含义是该类型负载在计算节点类型Label上运行的执行收益，用以表示负载对于节点的执行偏好；

时间型负载：时间型负载有明确的执行截止时间要求，所以如果负载在截止时间前执行完毕则Utility＝1，否则该执行就是无意义的执行Utility＝0；

空间型负载：空间型负载在中性能计算节点的执行收益设为基础收益1，由于空间型负载对于运行高效的节点有执行偏好，所以对于高性能计算节点应具备更高的效益值，在基础效益上附加一个正比与计算节点执行能力差异的额外效益，即Utility＝1+(T₁-T₂)/T₁，T₁为该负载在中性能计算节点的执行时间，T₂为该负载在高性能计算节点的执行时间；

普通工作负载：由于普通工作负载没有执行偏好，所以该负载在所有类型计算节点运行时有相同的效益值，即Utility＝1；

步骤四：构建调度优化模型目标函数：