[发明专利]一种面向数据中心存储故障的数据恢复调优方法

说明书

本发明公开的面向数据中心存储故障的数据恢复调优方法,包括步骤：(1)系统环境配置分析，分析系统配置条件下集群的节点拓扑及可用带宽，根据分析结果使用最优化策略调整复制因子；(2)复制因子调优策略，在不影响集群批处理作业的基础上，实现数据副本的高效恢复。本发明旨在最小化集群中的数据副本丢失后的恢复时间，为批处理任务的执行效率提供保障。

技术领域

本发明属于数据中心技术领域，具体涉及一种面向数据中心存储故障的数据恢复的调优方法。

背景技术

副本机制是分布式文件系统的核心技术。在数据中心研究领域，针对大数据分析这一问题，一种常规的方法是采用基于MapReduce架构的Hadoop系统。Hadoop系统底层使用HDFS作为其文件存储系统，HDFS是可容错的，并且可以提供对大数据集的高吞吐量访问。MapReduce进行数据分析时将处理逻辑放置到数据附近，但当数据副本或数据节点失效后，其性能并不令人满意，这主要表现在数据恢复任务将与MapReduce作业竞争带宽资源，从而导致MapReduce作业执行时间过长。

因此，针对默认数据副本恢复策略的不足，基于MapReduce作业高效执行的需求，研究者提出一类纠删码技术，通过纠删码算法将原始的数据进行编码得到校验，并将数据和校验一并存储起来，以达到容错的目的。然而，该方法在进行数据副本恢复时，会造成较高的带宽压力，影响MapReduce作业的执行效率，且对系统的IOPS和延迟影响较大。

因保证数据副本的可用性，牺牲MapReduce作业的执行效率显然是不合适的，而Hadoop系统默认的数据副本管理机制也没有充分考虑数据恢复与MapReduce作业的关系，提高数据恢复的效率；此外，大部分研究仍未能将MapReduce作业与数据恢复相结合，未充分利用集群中的可用带宽资源。

发明内容

本发明公开的面向数据中心存储故障的数据恢复调优方法，为解决上述技术问题，满足数据副本高可用性的客观需求，本发明提出一种面向数据中心存储故障的数据恢复调优方法，该策略在保证MapReduce作业执行效率的同时，能最小化数据副本的恢复时间。

本发明公开的面向数据中心存储故障的数据恢复调优方法，包括如下步骤：

步骤1、依据系统参数，依托Hadoop将系统所要完成的任务分为J组复制任务流其中，取上限值，di表示第i组复制任务流中的复制任务数据量，系统参数至少包括数据中心的数据节点的数量N、系统的可用带宽M、数据块的容量K和待恢复的数据块数量R；

步骤2、获取复制因子G，其中取下限值，根据系统参数初步判断复制因子的最优范围；

步骤3、执行复制因子G的调优策略，包括：

(3-1)定义v表示迭代次数，初始化v＝1；将各数据节点按网络距离升序排列，形成待选择目标数据节点队列Q；

(3-2)针对数据副本，将复制任务分为n个优先级，组成优先级队列r；

(3-3)从高优先级复制任务中选择容量I的复制任务，I满足：SUM_I≥AVG，

SUM_I表示待复制任务队列I中所有复制任务的数据容量；

将I中的复制任务流从优先级队列中删除；

(3-4)将I的复制任务根据网络距离择优放置在目标数据节点，目标数据节点与失效节点的距离最优；

将优先级队列中的其他任务根据网络距离重新排序。

本发明公开的面向数据中心存储故障的数据恢复调优方法的一种改进，步骤1中系统参数还包括心跳周期W，获取单位心跳间隔内恢复数据的上限C，满足C≤max{(N*G*K)，(N*M)}。