[发明专利]一种面向数据中心存储故障的数据恢复调优方法

权利要求书

1.一种面向数据中心存储故障的数据恢复调优方法，其特征在于，包括如下步骤：

步骤1、依据系统参数，依托Hadoop将系统所要完成的任务分为J组复制任务流其中，取上限值，d_i表示第i组复制任务流中的复制任务数据量，所述系统参数至少包括数据中心的数据节点的数量N、系统的可用带宽M、数据块的容量K和待恢复的数据块数量R；

步骤2、获取复制因子G，其中取下限值，根据系统参数初步判断复制因子的最优范围；

步骤3、执行复制因子G的调优策略，包括：

(3-1)定义v表示迭代次数，初始化v＝1；将各数据节点按网络距离升序排列，形成待选择目标数据节点队列Q；

(3-2)针对数据副本，将复制任务分为n个优先级，组成优先级队列r；

(3-3)从高优先级复制任务中选择容量I的复制任务，I满足：

SUM_I≥AVG，

SUM_I表示待复制任务队列I中所有复制任务的数据容量；

将I中的复制任务流从优先级队列中删除；

(3-4)将I的复制任务根据网络距离择优放置在目标数据节点，目标数据节点与失效节点的距离最优；

将优先级队列中的其他任务根据网络距离重新排序。

2.根据权利要求1所述的面向数据中心存储故障的数据恢复调优方法，其特征在于，步骤1中所述系统参数还包括心跳周期W，获取单位心跳间隔内恢复数据的上限C，满足C≤max{(N*G*K)，(N*M)}。

3.根据权利要求1所述的面向数据中心存储故障的数据恢复调优方法，其特征在于，步骤1中系统参数还包括获取数据恢复时间T，满足

4.根据权利要求1所述的面向数据中心存储故障的数据恢复调优方法，其特征在于，所述步骤(3-2)中，将复制任务分为五个优先级，组成优先级队列r：

优先级1：保存需要立刻进行复制的数据块；这个数据块只有一个副本或者没有活跃的副本，仅有的一个副本所在的DataNode处在正在退役状态

优先级2：保存副本数量极低的数据块，当实际的副本数量与期望副本的比例小于1∶3时，将副本数量极低的数据块加入这个队列；

优先级3：保存副本数量低于期望值的数据块，要求该数据块的副本数不满足优先级2队列中的比例；

优先级4：数据块的副本数量满足要求，但是副本分布性不足；

优先级5：保存已经损坏的数据块，该数据块对应的所有副本为损坏的。

5.根据权利要求1所述的面向数据中心存储故障的数据恢复调优方法，其特征在于，所述步骤3还包括(3-5)：统计正常运行的MapReduce作业执行时间y；统计存在节点失效时MapReduce作业的执行时间x；比较x与y，以判断MapRedcue作业的执行效率，判断条件为：y*99％≥x，若不满足，则令G＝G-1，返回步骤(3-2)。

6.根据权利要求5所述的面向数据中心存储故障的数据恢复调优方法，其特征在于，所述步骤3还包括(3-6)：统计当前节点对应日志中数据副本总的恢复时间p，则当前所有v轮迭代中恢复时间最短值h，其执行前提为比较x与y时满足y*99％≥x。

7.根据权利要求1所述的面向数据中心存储故障的数据恢复调优方法，其特征在于，所述步骤(3-1)中数据节点排序时：

将各数据节点按网络距离升序排列，形成待选择目标数据节点队列Q，初始情况下，Q具有N个待复制数据副本；以数据节点间的线缆的段数代表节点之间的网络距离。

8.根据权利要求5所述的面向数据中心存储故障的数据恢复调优方法，其特征在于，所述步骤(3-5)中，节点的选择方法为：进行v轮迭代，每轮迭代选出一组复制任务流和一个目标物理节点，并将选出的复制任务流复制在选中的目标节点上。

9.根据权利要求8所述的面向数据中心存储故障的数据恢复调优方法，其特征在于，所述步骤(3-5)中，每轮迭代包括步骤：

分别选出待复制优先级队列r和目标数据节点队列Q的队首元素，并将待复制优先级队列r的高优先级复制任务部署在目标数据节点队列Q队首的物理机上；

从最佳复制因子值范围的上限开始，逐次统计数据副本总的恢复时间，在满足y*99％≥x的范围内，统计每次数据恢复的时间和其复制因子。