[发明专利]一种HDFS副本再复制改进方法

说明书

本发明公开了一种HDFS副本再复制改进方法，当元节点检测到数据节点无效时，执行HDFS副本再复制改进策略，包括获取失效数据节点上的副本数据块序列；计算副本数据块序列中所有副本数据块的访问热度值，按照访问热度值从大到小对副本数据块进行排序，得到新的副本数据块序列；基于节点负载动态加权评价模型，选取数据节点的复制起点和终点，将新的副本数据块序列中的所有副本数据块依次执行复制。

技术领域

本发明属于分布式计算领域，具体为一种基于数据块热度的副本再复制策略，主要应用于副本技术即分布式数据复制技术。

背景技术

Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodityhardware)上的分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分可移植操作系统接口(POSIX)约束，来实现流式读取文件系统数据的目的。

目前，HDFS副本再复制策略缺陷：HDFS集群运行时，数据节点会定期向元节点发送心跳信息，元节点通过心跳信息来检测数据节点是否发生错误，若元节点在约定周期内未收到来自某个数据节点的心跳信息，则将其标记为宕机，该数据节点上存储的副本数据不再有效，元节点不会再发I/O请求给它。这时元节点启动副本再复制操作，首先从缺损数据块的数据节点中随机挑选一个数据节点作为数据块再复制的起点，然后再从不包含这个数据块的数据节点中随机挑选一个数据节点作为复制终点，然后启动复制。然后，实际的集群运行时，数据节点之间的负载情况千差万别，这样随机选取的方法很可能加重某些访问量很大的数据节点，而另外一些节点的磁盘利用率和I/O吞吐量较小。另外，失效数据节点中的数据块的请求量也不同，默认策略会导致客户端对热点数据块的请求迟迟得不到响应，大大增加数据服务器的I/O响应时间，降低用户的访问体验。

发明内容

本发明目的在于针对HDFS默认副本再复制策略的缺陷，本发明提出了基于数据块热度的副本再复制策略。

技术方案：一种HDFS副本再复制改进方法，当元节点检测到数据节点无效时，执行HDFS副本再复制改进策略，包括以下步骤：

步骤1：获取失效数据节点上的副本数据块序列；

步骤2：计算副本数据块序列中所有副本数据块的访问热度值，按照访问热度值从大到小对副本数据块进行排序，得到新的副本数据块序列；

步骤3：基于节点负载动态加权评价模型，选取数据节点的复制起点和终点，将新的副本数据块序列中的所有副本数据块依次执行复制。

进一步的，所述副本数据块的访问热度值由下式得到：

H_t(b_j)＝αH_t-1(b_j)+(1-α)A_t(b_j)， (2)

式中，A_t(b_j)为t时刻副本数据块b_j的访问请求到达数量，λ_j为单位时间内到达副本数据块b_j的访问请求到达平均数量；

式中，H_t(b_j)为t时刻副本数据块b_j的访问热度，αH_t-1(b_j)为上一个时刻副本数据块b_j的访问热度，α为上一时刻访问热度对当前访问热度的影响权重。

进一步的，所述节点负载动态加权评价模型为：