[发明专利]一种负载均衡的处理方法和设备

摘要

本发明公开了一种负载均衡的处理方法和设备，包括：获取一个工作节点的一个迭代周期内每一个任务的运行时间信息；根据获取的每一个任务的运行时间信息以及待迁移任务的分析策略，确定工作节点在迭代周期内的待迁移任务；当确定为待迁移任务的次数超过设定数值时，将待迁移任务迁移至除了所述工作节点之外的任务处理量小于设定阈值的工作节点，这样利用任务迁移方式，在工作点的多次迭代操作中执行一次任务迁移，有效地实现工作点间任务负载均衡，避免了Giraph中负载均衡策略存在时间消耗的问题，同时也避免了Hadoop中推测式执行策略存在增加消息通信网络开销的问题，提高了BSP模型中任务迁移的效率，提升了系统的负载均衡性。 1

主权项

1.一种负载均衡的处理方法，其特征在于，包括：

获取一个工作节点的一个迭代周期内每一个任务的运行时间信息；

根据获取的所述每一个任务的运行时间信息以及待迁移任务的分析策略，确定所述工作节点在所述迭代周期内的待迁移任务；

当确定为待迁移任务的次数超过设定数值时，将所述待迁移任务迁移至除了所述工作节点之外的任务处理量小于设定阈值的工作节点；

当确定为待迁移任务的次数超过设定数值时，将所述待迁移任务迁移至除了所述工作节点之外的任务处理量小于设定阈值的工作节点，包括：

判断所述工作节点在连续N个迭代周期内是否存在确定为待迁移任务的次数超过设定数值的待迁移任务；

当存在确定为待迁移任务的次数超过设定数值的待迁移任务时，判定确定为待迁移任务的次数超过设定数值的待迁移任务为迁移任务，并将判定的所述迁移任务迁移至除了所述工作节点之外的任务处理量小于设定阈值的工作节点中。

2.如权利要求1所述的处理方法，其特征在于，根据获取的所述每一个任务的运行时间信息以及待迁移任务的分析策略，确定所述工作节点在所述迭代周期内的待迁移任务，包括：

根据获取的所述每一个任务的运行时间信息，将所述每一个任务的运行时间信息进行排序；

利用得到的排序信息，确定所述工作节点在所述迭代周期内的准迁移任务；并

利用迁移代价模型，计算确定的准迁移任务的迁移收益值；

对于迁移收益值大于设定门限值的准迁移任务，当迁移收益值大于设定门限值的准迁移任务所在的工作节点在设定时间内的任务处理量大于设定阈值时，确定迁移收益值大于设定门限值的准迁移任务为所述工作节点在所述迭代周期内的待迁移任务。

3.如权利要求2所述的处理方法，其特征在于，利用得到的排序信息，确定所述工作节点在所述迭代周期内的准迁移任务，包括：

针对排序信息中的每一个运行时间信息，在确定运行时间信息大于设定运行时间信息时，确定大于设定运行时间信息对应的任务为所述工作节点在所述迭代周期内的准迁移任务；

其中，所述设定运行时间信息通过以下方式确定：

T＝T₂+(T₂‑T₁)*1.5；T为设定运行时间信息，T₂为根据得到的排序信息，确定排序信息中四分之三位处对应的时间信息；T₁为根据得到的排序信息，确定排序信息中四分之一位处对应的运行时间信息。

4.如权利要求2或3所述的处理方法，其特征在于，利用迁移代价模型，计算确定的准迁移任务的迁移收益值，包括：

通过以下方式计算确定的准迁移任务的迁移收益值：

G(T)＝T._{remainSuperStep}*(T._runTime‑avgRunTime)‑T._migrateCost；

其中，G(T)为确定的准迁移任务的迁移收益值，T._{remainSuperStep}为确定的准迁移任务的剩余超步运行时间信息，T._runTime为确定的准迁移任务的运行时间信息，avgRunTime为所述工作节点在所述迭代周期内非准迁移任务的平均运行时间信息，T._migrateCost为确定的准迁移任务的迁移代价时间信息，等于数据加载的时间长度与消息读或者写的时间长度之和。

5.一种负载均衡的处理设备，其特征在于，包括：

获取模块，用于获取一个工作节点的一个迭代周期内每一个任务的运行时间信息；

确定模块，用于根据获取的所述每一个任务的运行时间信息以及待迁移任务的分析策略，确定所述工作节点在所述迭代周期内的待迁移任务；

迁移模块，用于当确定为待迁移任务的次数超过设定数值时，将所述待迁移任务迁移至除了所述工作节点之外的任务处理量小于设定阈值的工作节点；

所述迁移模块，具体用于判断所述工作节点在连续N个迭代周期内是否存在确定为待迁移任务的次数超过设定数值的待迁移任务；

当存在确定为待迁移任务的次数超过设定数值的待迁移任务时，判定确定为待迁移任务的次数超过设定数值的待迁移任务为迁移任务，并将判定的所述迁移任务迁移至除了所述工作节点之外的任务处理量小于设定阈值的工作节点中。

6.如权利要求5所述的处理设备，其特征在于，

所述确定模块，具体用于根据获取的所述每一个任务的运行时间信息，将所述每一个任务的运行时间信息进行排序；利用得到的排序信息，确定所述工作节点在所述迭代周期内的准迁移任务；并利用迁移代价模型，计算确定的准迁移任务的迁移收益值；对于迁移收益值大于设定门限值的准迁移任务，当迁移收益值大于设定门限值的准迁移任务所在的工作节点在设定时间内的任务处理量大于设定阈值时，确定迁移收益值大于设定门限值的准迁移任务为所述工作节点在所述迭代周期内的待迁移任务。

7.如权利要求6所述的处理设备，其特征在于，

所述确定模块，具体用于针对排序信息中的每一个运行时间信息，在确定运行时间信息大于设定运行时间信息时，确定大于设定运行时间信息对应的任务为所述工作节点在所述迭代周期内的准迁移任务；

其中，所述设定运行时间信息通过以下方式确定：

T＝T₂+(T₂‑T₁)*1.5；T为设定运行时间信息，T₂为根据得到的排序信息，确定排序信息中四分之三位处对应的时间信息；T₁为根据得到的排序信息，确定排序信息中四分之一位处对应的运行时间信息。

8.如权利要求6或7所述的处理设备，其特征在于，

所述确定模块，具体用于通过以下方式计算确定的准迁移任务的迁移收益值：

G(T)＝T._{remainSuperStep}*(T._runTime‑avgRunTime)‑T._migrateCost；

其中，G(T)为确定的准迁移任务的迁移收益值，T._{remainSuperStep}为确定的准迁移任务的剩余超步运行时间信息，T._runTime为确定的准迁移任务的运行时间信息，avgRunTime为所述工作节点在所述迭代周期内非准迁移任务的平均运行时间信息，T._migrateCost为确定的准迁移任务的迁移代价时间信息，等于数据加载的时间长度与消息读或者写的时间长度之和。