[发明专利]基于HDFS的迭代式回溯算法的负载均衡与计算本地化方法

摘要

本发明涉及基于HDFS的迭代式回溯算法的负载均衡与计算本地化方法，包括S1Planner读取所有数据分析引擎系统中全部存活节点的IP地址和负载状态；S2Planner从名称节点上读取表的所有数据包的分布信息；S3通过Planner读取的所有数据分析引擎系统中全部存活节点的IP地址和负载状态以及从名称节点上读取表的所有数据包的分布信息利用迭代式回溯算法实现负载均衡。本发明通过产生的Planner在尽力保证计算本地化的基础上，能够快速、高效的实现负载均衡。

主权项

基于HDFS的迭代式回溯算法的负载均衡与计算本地化方法，其特征在于，包括具体以下步骤：S1：Planner读取所有数据分析引擎系统中全部存活节点的IP地址和负载状态；S2：Planner从名称节点上读取表的所有数据包的分布信息；S3：通过Planner读取的数据分析引擎系统中全部存活节点的IP地址和负载状态以及从所述名称节点上读取表的所有数据包的分布信息利用迭代式回溯算法实现负载均衡；所述步骤S1还包括：Planner将全部存活节点的负载状态换算为相对应大小的数据包；所述步骤S1还包括：内存空间量最大的节点不需要进行换算为相对应大小的数据包；所述Planner将全部存活节点的负载状态换算为相对应大小的数据包的具体过程为：找到空闲内存量最大的节点，将其空闲内存值记为Mmax；以及分别计算其它节点的数据包的大小，等于Mmax‑Mfree其中，Mfree为当前机器的空闲内存量。