[发明专利]一种基于最大生成树的纠删码失效节点重构路径选择方法

说明书

本发明属于数据存储领域，具体涉及一种基于最大生成树的纠删码失效节点重构路径选择方法。本发明的目的是针对传统数据修复方式在多节点失效情况下性能下降严重的问题，提出一种基于最大生成树的纠删码失效节点重构路径选择方法，根据节点的计算能力，选举中心节点，并根据各节点间带宽，生成最大生成树，降低多节点修复时的网络带宽消耗和修复时间，提升修复效率。本发明所述的一种基于最大生成树的纠删码失效节点重构路径选择方法，克服传统纠删码数据修复方法串行修复问题，减少冗余数据传输，提高修复效率，降低修复时间。

技术领域

本发明属于数据存储领域，具体涉及一种基于最大生成树的纠删码失效节点重构路径选择方法。

背景技术

进入大数据时代，数据规模庞大，增长迅速。应用广泛的大型分布式系统，往往包含几千甚至上万个存储节点，庞大的规模使节点失效成为常态，据统计，大型系统之中，平均每天有1％～2％的节点失效，因此，通过冗余技术保证数据的可用性与可靠性，即在部分存储节点失效的情况下仍然能够访问系统中的所有数据尤为重要。常用的冗余技术有多副本技术和纠删码技术。多副本技术因其简单和数据访问带宽较高等优点被广泛应用。但随着数据量不断增长，多副本技术会引入极大的存储开销，且存储利用率低。相比于多副本技术，纠删码技术能够以较低的存储开销获得更高的数据可用性，近年来受到广泛的关注。

然而，纠删码技术因其较高的修复成本并未得到大规模的应用。当有节点失效时，系统会选择空闲节点作为新生节点，新生节点从存活的节点(称为供应节点)中读取数据，完成失效数据的修复。新生节点需要从多个供应节点下载数据，造成了较高的网络资源消耗，并且降低了数据修复速度。因此，如何降低纠删码修复所占用的网络资源消耗，提高修复速率，对提高纠删码性能尤为重要。

传统纠删码修复方法为星型和树型结构修复方法。基于星型结构的修复方法中，以新生节点为中心，所有供应节点直接将数据块发送给新生节点，供应节点与新生节点间形成星型结构。星型结构修复方法较为简单，但修复时间受制于新生节点与供应节点之间的网络带宽瓶颈，即修复时间为网络带宽最小的供应节点传输数据到新生节点的时间。

由于很多分布式存储系统采用“延迟修复”的策略，即只有当失效存储节点个数达到某一阈值时，启动对失效节点的修复。传统的星型结构和树型结构修复方法串行修复的策略不再最优。并且随着系统中节点规模不断扩大，失效数据修复的代价将不断提高。

发明内容

本发明的目的是针对传统数据修复方式在多节点失效情况下性能下降严重的问题，提出一种基于最大生成树的纠删码失效节点重构路径选择方法，根据节点的计算能力，选举中心节点，并根据各节点间带宽，生成最大生成树，降低多节点修复时的网络带宽消耗和修复时间，提升修复效率。

一种基于最大生成树的纠删码失效节点重构路径选择方法，该方法包括以下步骤：

步骤1：选择中心节点；

步骤1.1：根据空闲节点的计算能力选择出中心节点；

步骤1.2：通过对比空闲节点计算能力大小，选择出计算能力最强的节点作为中心节点；

步骤2：根据选择的中心节点，选择供应节点；

步骤2.1：在中心节点选择完成后，确定向其传输数据的供应节点；

步骤2.2：引入N′和E′，分别存放参与修复的供应节点和中心节点，以及之间的传输链路；

步骤2.3：算法的每一步扫描数组WEIGHT，在N-N′中得到与N′有最大带宽的节点，令其为k，并输出边(k,NODE[k])，然后修改数组NODE和WEIGHT，标记k已加入N′，直到N′中有d+1个节点结束，选择出d个供应节点；

步骤3：根据选择的供应节点，选择新生节点；

步骤3.1：选择存储修复数据的新生节点；