[发明专利]一种工作槽感知的Storm平台作业均分调度方法

摘要

本发明公开了一种工作槽感知的Storm平台作业均分调度方法。本方法为：1)获取集群中需要任务调度的拓扑集合，及集群中所有空闲可利用的工作槽集合；2)对该工作槽集合中同一工作节点的工作槽分为同一组；3)从当前工作槽剩余最多的分组中取出工作槽放入槽感知排序队列，然后更新每组工作槽的数量，直到工作槽集合为空；4)对于该拓扑集合中的拓扑，根据该拓扑所设置的进程数、工作槽总数目和已经分配的工作槽数目，计算该拓扑需分配的工作槽数目N_a；5)从该队列中顺序取出工作槽，并实时控制分配给该拓扑的工作槽中属于同一工作节点的工作槽数n占该拓扑工作槽总数的比例不超过设定比例α，直至取出N_a个工作槽分配给该拓扑。

主权项

1.一种工作槽感知的Storm平台作业均分调度方法，其步骤为：1)获取集群中需要任务调度的拓扑集合，及集群中所有空闲可利用的工作槽集合；2)对该工作槽集合中的工作槽资源进行排序，将同一工作节点的工作槽分为同一组；3)从当前工作槽剩余最多的分组中取出工作槽放入队列，然后更新每个分组工作槽的数量；4)重复步骤3)，直到工作槽集合为空，将最终得到的队列称为槽感知排序队列；5)对于该拓扑集合中的拓扑，根据该拓扑所设置的进程数、工作槽总数目N_w和已经分配的工作槽数目N_l，计算该拓扑需要再申请的工作槽数目N_r＝N_w‑N_l和需实际再分配的工作槽数目N_a＝Min(N_r，N_q)；N_q为工作槽集合中的工作槽数目；6)从该槽感知排序队列中顺序取出工作槽，并实时控制分配给该拓扑的工作槽中属于同一工作节点的工作槽数n占该拓扑工作槽总数N_w的比例不超过设定比例α，直至取出N_a个工作槽分配给该拓扑。