[发明专利]基于HDFS的副本平衡方法

摘要

本发明公开了一种基于HDFS的副本平衡方法，其在集群配置项中设计抽象Performance类，并通过心跳信息收集各DataNode的性能数据，在数据迁移时，DataNode的匹配除了需要符合现有Balancer程序的节点匹配规则外，还需要参考DataNode的性能指标数据，按照DataNode的性能评分和存储量的比值进行评价，并在评价最优和评价最差的DataNode之间进行匹配，使DataNode存放的数据量正比于DataNode的性能，提高HDFS分布式文件系统负载均衡能力，提升集群性能。在组建集群时，无需考虑集群中各节点配置的性能差异。

主权项

基于HDFS的副本平衡方法，包括以下步骤：1)、集群配置:设计用于代表DataNode性能评价指标的Performance类，Performance类提供一个用于获得对应的性能数据的getPerformance方法；定义对应DataNode各性能指标的性能类，性能类是继承Performance类的子类；在HDFS通讯协议的心跳信息中增加对应性能类的性能指标数据；2)、数据收集:DataNode通过getPerformance方法收集与各性能类对应的性能指标数据；然后由DataNode定时发送心跳信息，将上述与各性能类对应的性能指标数据发送给NameNode，并由NameNode保存上述与各性能类对应的性能指标数据；3)、执行Balancer程序:3.1、由Rebalance Server从NameNode中获取各DataNode的性能指标数据；3.2、根据获取的性能指标数据，计算各DataNode性能评分；3.3、计算各DataNode性能评分与其存储量的比值α，以及各DataNode的α值的平均值α_avg；3.4、通过Balancer命令的threshold参数获取允许的性能误差范围，根据α_avg结合threshold参数确定DataNode性能的目标范围；将α值优于目标范围的DataNode、α值在目标范围内的DataNode以及α值差于目标范围的DataNode划分为Q_over、Q_mid、Q_under三个队列；3.5、匹配DataNode，包括如下步骤：3.5.1、若Q_under和Q_over均非空，则将Q_under中DataNode和Q_over中的DataNode进行匹配；若Q_under为空而Q_over非空，则将Q_mid中性能最差的DataNode和Q_over中的DataNode进行匹配；若Q_under非空而Q_over为空，则将Q_mid中性能最优的DataNode与Q_under中的DataNode进行匹配；3.5.2、若3.5.1选取的两DataNode符合Balancer程序的节点匹配规则，则执行DataNode的匹配，进入步骤3.6，否则重复步骤3.5.1；3.6、数据块选择：从待迁出DataNode中选择数据块，若数据块符合Balancer程序的数据块选取规则，则执行数据迁移任务，否则重新选择数据块；3.7、完成数据迁移任务后，重新计算迁出DataNode和迁入DataNode的α值，并将两者放入合适的队列中；3.8、重复3.5、3.6和3.7，直至Q_over和Q_under均为空。