[发明专利]分布式存储系统中故障节点修复方法

说明书

本发明公开一种分布式存储系统中故障节点修复方法，首先利用软件定义网络技术实时监控获取网络状态信息，并将获取到的实时网络状态信息用于后续进行路径计算；然后，使用多属性决策对空闲节点集进行筛选得到新生节点；使用基于平均带宽感知的路径排序算法对存活节点集进行筛选得到提供节点；接着，使用Dijkstra算法得到新生节点与提供节点之间的k条初始路径k‑path；最后，利用k‑path作为初始化编码的个体元素带入混合遗传算法，求取系统中的最优修复树，构建具有最优修复性能的全局最优修复拓扑。本发明针对分布式存储系统中节点属性异构的特征，通过多属性决策、Dijkstra算法与混合遗传算法相结合的方法来降低修复流量及修复时延。

技术领域

本发明涉及云存储技术领域，具体涉及一种分布式存储系统中故障节点修复方法。

背景技术

分布式存储是一种将数据分散存储在多台独立的设备上的数据存储技术。分布式存储系统利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。分布式存储系统包含大量存储节点(存储服务器)，节点失效是经常性事件。为保证存储数据的可靠性，目前分布式存储系统的节点修复方式主要采用多副本技术和纠删码技术。

多副本技术操作简单，易于实现，但需要消耗大量的存储空间，存储效率低，随着海量存储数据的剧增，多副本冗余所带来的高存储开销的缺点日益明显。相较于多副本技术，纠删码技术能够大幅减少了冗余存储开销，并具有存储效率高和灵活性好的特点。应用纠删码方式修复故障节点时，分布式存储系统会在集群拓扑中提供一个新的节点替换故障节点，该节点被称为Newcomer(新生节点)，Newcomer从若干存活节点中下载数据并执行数据恢复操作，这些为Newcomer提供数据的节点被称为Provider(提供节点)。在传统数据修复过程中，Provider向Newcomer传递修复数据的修复拓扑是星型的，并且Newcomer必须在接收所有Provider节点提供的数据后才能恢复失效节点中的数据，故其修复时延取决于修复流量在拓扑中传递速度最慢的链路，称为瓶颈链路。为降低修复时延，树型修复拓扑被提了出来，不再采用Provider直连Newcomer的传输模式，而是以Newcomer为根创建树型修复拓扑，选择具有更高可用平均带宽的链路加入拓扑以降低修复时延。虽然树型修复拓扑相较星型修复拓扑确实提升了数据修复速率，但却为存储集群网络带来了更大的流量开销。此外，树型修复拓扑通过贪心算法寻找最优修复树是一个NP-hard问题，随着存储规模的增大，修复拓扑的构造时间会随指数增长，这对于目前普遍集群规模巨大的存储系统来说，将带来巨大的修复时延。由此可见，传统纠删码技术还存在修复时延较大的问题，如何减少修复过程中的修复开销，是我们迫切需要解决的问题。

发明内容

本发明所要解决的是现有分布式存储的节点修复方法在应对大规模存储冗余时，存在修复开销及计算开销较大的问题，提供一种分布式存储系统中故障节点修复方法。

为解决上述问题，本发明是通过以下技术方案实现的：

分布式存储系统中故障节点修复方法，包括步骤如下：

步骤1、利用软件定义网络技术实时监控获取网络状态信息；

步骤2、基于获取的网络状态信息，对分布式存储系统中的所有空闲节点进行多属性决策选定1个新生节点；

步骤3、基于获取的网络状态信息，将分布式存储系统中的各存活节点到各空闲节点的直连带宽进行从大到小排序，并将排在前面的d个直连带宽的存活节点选定为提供节点；

步骤4、使用Dijkstra算法分别得到新生节点到每个提供节点的k条路径；

步骤5、设定种群规模Q和最大进化世代数G；生成包括Q个个体的初始化种群，该初始化种群的每个个体是分别从新生节点到每个提供节点的k条路径中各随机选择一条路径即新生节点到d个提供节点的d条路径所组成的；令当前进化世代数t＝1，并令当前种群为初始化种群；