[发明专利]一种基于节点状态反馈的节点任务槽动态调整方法

摘要

本发明涉及一种基于节点状态反馈的节点任务槽动态调整方法。它首先考虑收集并分析子节点实时负载状态等相关信息，然后根据分析结果调整子节点的MTS，以此达到子节点资源得到充分合理地利用。本发明一种基于节点状态反馈的节点任务槽动态调整方法，包括七个步骤，本发明的优势与功效在于：本发明的优势在于子节点MTS可以适时调整，并且是基于子节点的实时负载状况进行调整的，因此可以使集群节点资源得到更有效地使用且避免节点上多个任务对节点资源的过分竞争。

主权项

一种基于节点状态反馈的节点任务槽动态调整方法，首先，变量定义如下：将子节点负载值workload的取值范围[0，1]划分为三个区间：轻载区、适载区和重载区；其中，LL表示适载下限值，UL表示适载上限值；由于集群初始化时对节点负载情况不了解，所以初始设置LL＝33％、UL＝66％，即将负载取值范围平均划分；然后在作业运行过程中动态调整LL、UL；但是调整后的LL和UL必须有一定的范围；我们将LL限定在[20％，33％]，UL限定在[65％，90％]；节点处理数据的吞吐率ntr为单位时间内节点上所有任务处理的数据量；由公式(1)得出： ntr = Δs Δt - - - ( 1 ) ; 子节点处理数据的加速比nsr为MTS调整后的节点处理数据的吞吐率ntr与MTS调整前的ntr的比值，nsr初始化为1；所述的基于节点状态反馈的节点任务槽动态调整方法，主要包括以下步骤：步骤1.通过节点负载检测模块对分布式计算集群子节点进行负载检测与收集，得到子节点的负载值workload；步骤2.通过节点任务状态检测模块对分布式计算作业运行中的任务的状态进行监控与收集；主要获取子节点的任务进度信息，包括子节点的ntr和nsr；步骤3.将步骤1收集的节点负载状态和步骤2收集的节点任务状态封装在一起，组成心跳信息；由子节点每隔一段时间发起的心跳通信，将心跳信息传输到主节点；步骤4.主节点监听所有子节点发起的心跳通信；当有子节点发起心跳通信时，主节点读取子节点传输过来的心跳信息；步骤5.主节点读取子节点心跳信息中的负载值workload作为该子节点最新的负载大小，计算所有子节点最新的负载大小均值workloadavg，然后按公式(2)调整LL和UL；当LL或UL超出其限定范围时，按公式(3)调整： LL = workload avg - 16.5 % UL = workload avg + 16.5 % - - - ( 2 ) ; LL = 20 % , ifLL < 20 % LL = 45 % , ifLL > 45 % UL = 65 % , ifUL < 65 % UL = 90 % , ifUL > 90 % - - - ( 3 ) ; 步骤6.主节点读取子节点心跳信息中ntr和nsr，用于该节点MTS的调整；步骤7.子节点MTS的动态调整，包括MTS初始化阶段和动态调整阶段。