[发明专利]随机扩散动态负载均衡方法

说明书

本发明公开了一种随机扩散动态负载均衡方法，包括以下步骤：步骤1、把计算任务随时间的迁移而位于哪个进程这一状态变量看作是一个随机过程，每次迭代通过随机扩散信息交换协议以及基于概率图模型的参数学习过程；步骤2、计算出任务量随机迁移矩阵，据此进行任务迁移来达到负载均衡。具有良好的扩展性和良好的全局均衡效果等优点。

技术领域

本发明涉及一种在多核集群上进行并行计算的动态负载均衡技术，特别涉 及一种随机扩散动态负载均衡方法，该均衡方法主要是针对异构集群系统。

背景技术

由于芯片制造工艺以及存储带宽的制约，一味地追求单机性能显得越来越 不现实。并行计算自提出以来一直是解决大规模计算问题的主要手段，近几十 年来更是被广泛关注和研究，并行计算系统主要的硬件模型主要有对称多处理 机系统(Symmetric MultiProcessing，SMP)和大规模并行处理系统(Massively Parallel Processing，MPP)等，其对应的计算模式分别是多核计算和集群计 算。多核集群并行计算是当今计算的主流模式已成为工业界和学术界的共识， 尤其是在高性能计算(High Performance Computing，HPC)领域。随着应用复 杂性和处理数据量的增长，以及要求提供计算服务的用户数量的增多，集群系 统的单机核数与计算结点数目将不断增加，甚至通过安装具有高吞吐率的加速卡，如图形处理器(GPU)、现场可编程门阵列(FPGA)以及众核集成协处理器 (MIC)，来增强单机计算性能。

业务数据的累积使得各个行业对数据处理和计算性能的需求从来没有如此 迫切，为了有效地利用集群系统的计算资源，工业界和学术界一直致力于研究 影响并行计算应用性能的因素。除了计算系统本身的规模、各个结点的计算能 力、互联网络、存储系统以及并行算法本身的设计以外，负载均衡往往是一个 被忽视的重要因素。负载不均衡带来的坏处只有在处理大规模数据的时候才会 比较突出，在一般的并行计算应用中，因为进程的数量较少或者任务量不多， 负载不均衡现象并不明显，如果不是有对比实验数据或者专门测试负载均衡情 况那么是很难识别出来的，这种程序一旦遇上数据量或者运行规模翻几倍的情 况则很可能无法胜任。

对于一些简单应用，例如结构化的网格计算、稠密矩阵运算，负载容易被 预测，而且不会动态地改变。这类应用并不需要复杂的负载均衡技术，只需要 简单的静态负载均衡(Static Load Balancing，SLB)，在运行之前把计算任务 尽可能平均地分配到各个计算进程便可以满足需要。然而，随着复杂应用的出 现，计算负载随时间而变化并且其变化趋势较难预测的现象已经变得十分普遍。 例如，在分子动力学模拟应用里，如果分子是按数量静态分配给各个进程，分 子的移动就不会引起负载不均衡；如果一些复杂的模拟算法为了更好地进行作 用力的计算而把分子按空间坐标分配给各个进程，分子的移动将带来负载不均 衡并严重地影响到算法整体的性能。在科学计算软件中，计算流体动力学、气 候模拟中的降雨和云层等都是经常会引起负载不均衡的大型复杂应用。

动态负载均衡(Dynamic Load Balancing，DLB)技术通过在运行时间隔性 地在进程之间迁移计算任务来减少应用的总体运行时间，这种技术能有效地解 决以上所说的复杂应用所产生的负载不均衡现象，带来应用整体性能的提升。 不但如此，当应用是运行在一个结点间或者进程间计算性能不一致的集群上时， 即使每个进程的负载能均衡分配，负载不均衡的现象依然存在，因为这时候各 个计算进程的有效运行时间并不一致，也就是说进程之间的等待会带来计算资 源的浪费。出现进程间计算性能不一致的原因有很多，例如异构系统中部分结 点的配置差异，部分结点安装了加速卡可以为运行其上的进程提供加速服务， 温度、湿度的变化可能会使机器的计算性能出现波动，这些情况一般很难进行 统计或预测，所以动态负载均衡技术更加显得重要。