[发明专利]一种纠删码集群中失效节点的重构方法

说明书

技术领域

本发明属于计算机存储技术领域，更具体地，涉及一种纠删码集群中失效节点的重构方法。 

背景技术

在大数据时代到来的今天，大规模的存储集群为云平台提供数据支撑。这样庞大的存储集群中，故障的发生越来越频繁。为了数据的可靠性，存储集群通常采用数据冗余技术。由于纠删码具有存储效率高的优点，已逐渐被基于多副本的传统存储集群所采用，用于读多次写一次的归档应用中，从而形成了一种基于纠删码的存储集群。根据存储硬件、软件等方面的差异性，网络集群可以划分为同构集群和异构集群。其中，集群异构性是普遍存在的，即使是在分布式的网络环境下同构存储集群中，每个节点表现出来的实时网络带宽，CPU处理能力等方面都普遍存在差异性。 

基于Reed-Solomon编码的存储集群，即，RS（N，K）码存储集群，如果出现了一个失效数据节点，为了重构出该失效节点，传统的重构过程包括以下三步：（I）选取K个存活的存储节点；（II）读取这K个存储节点上相同偏移和长度的数据，即存活数据块，通过这K个存储数据块解码出失效节点上所对应的失效数据块；（III）重复步骤（II）直到恢复出该失效节点上的所有数据。如图1所示，为传统的纠删码集群中失效数据节点的重构过程，该过程是选取K个存活节点，读取这K个节点上相同位置上的相同长度的数据块，根据读取的K个块恢复失效节点上对应的数据块，选取不同偏移地址，重复上述恢复过程直到恢复出失效节点上的所有数据。图2给出该传统的重构失效数据节点的流程图。 

在上述的传统的失效节点重构过程中，如果各个存活节点的负载比较均衡，并且节点网络带宽相近，则K个节点上的数据块读取时间是相近的。但是，当各个节点的负载和网络带宽相差很大，传统的纠删码存储集群会存在如下两方面问题： 

一方面，在纠删码存储集群重构过程中，重构速度取决于K个节点中带宽最小的某个节点，这样的话，最晚完成数据块读取的这个存活节点将成为整个重构过程的瓶颈。 

另一方面，在纠删码集群的重构过程中，某些节点的负载相对很轻，所能提供的数据读带宽就很高；反之，负载最重的存活节点就无法提供相近的读带宽，从而，重构过程将受限于该重负载的存储节点。只有读取到所有K个存活分块，才可能进行下一个数据重构操作。 

发明内容

针对现有技术缺陷，本发明的目的在于提供一种纠删码存储集群中具有负载感知特性的重构优化方法。本方法同时适用于同构和异构存储集群。在各个存活节点的负载相对比较均衡时，该方法能获得与传统重构过程相同的重构性能；另外，它能够解决传统重构过程中由于各个节点负载相差较大而存在的重构性能瓶颈问题，即，存活节点对数据块读操作响应时间相差过大而导致的重构性能受限于‘最慢’存储节点的问题。本质上讲，传统重构方法无法充分利用存储集群资源。 

为实现上述目的，本发明提供了一种纠删码集群中失效节点的重构方法，该方法包括以下步骤： 

（1）当纠删码存储集群中有节点失效时，根据纠删码存储集群中节点的负载和网络带宽，初始化所有存活节点的权重值，并将所有存活节点的权重值保存在一个节点权重值数组中； 

（2）在节点权重值数组中选取权重值最大的K个存活节点，作为恢复该失效节点中对应偏移地址的数据块的数据块读取分布，其中所述K为存 储集群中数据节点的数目； 

（3）将节点权重值数组中上述K个存活节点的权重值分别减1； 

（4）判断节点权重值数组中权值大于0的节点数量是否小于K，若是则转到步骤（5），若否则转到步骤（2）； 

（5）根据得到的所有数据块读取分布，从相应存活节点上读取对应偏移地址的数据块中的数据，解码出失效节点上对应偏移地址的数据块中的数据。 

优选地，所述步骤（1）中初始化所有存活节点的权重值具体为：给每个存活节点发送一个数据块的读请求，获取每个节点的响应时间；对每个节点的响应时间取倒数；再乘以100得到各个存活节点的权重值。 

优选地，所述数据块的大小为512字节。 

优选地，所述存储集群采用RS(N，K)编码方式，其中N表示集群中所有节点的数目，K表示编码时以K个节点为单位，K也是数据节点的个数，校验节点的个数为N-K。 

总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有下列有益效果：