[发明专利]一种折叠式可扩展分布式存储编码及修复、扩展方法

说明书

本发明公开了一种折叠式可扩展分布式存储编码及修复、扩展方法，包括：确定各节点的编码参数后从最后一个阶段的生成矩阵开始依次构造出其他阶段对应的生成矩阵集，组合出一个编码组并从中选择一个码对待编码数据进行编码；出现节点失效时选择与信息节点相同数量的未失效的节点并从中下载数据符号对失效节点中的数据符号进行恢复；对编码数据进行扩展时将每个扩展组内的两个子条带进行合并。本发明具有能够提高扩展后系统的容错能力、具备MDS性质、扩展带宽低、可多次扩展等优点，可用于对节点具有计算能力的分布式存储系统进行编码、修复和扩展。

技术领域

本发明属于计算机技术领域，更进一步涉及分布式存储技术领域中的一种折叠式可扩展分布式存储编码及修复、扩展方法。本发明可用于对节点具有计算能力的分布式存储系统进行编码、修复和扩展。

背景技术

由于分布式存储系统数据存储量大，节点失效的事件频发，分布式存储系统需要通过存储冗余数据提高系统的可靠性。纠删码技术是一种典型的数据冗余机制，通过将原始数据分割成信息块后进行编码产生校验块，并将信息块与校验块分散存储在分布式存储系统的节点中，实现容错的目的。分布式存储系统的规模通常随着使用时间的变化而不断增大，有越来越多的新节点加入到系统中，理想情况下分布式存储系统的编码参数应当可以根据应用需求进行动态扩展，基于纠删码的分布式存储系统在进行码参数扩展时，数据的迁移、更新过程需要在节点之间传输大量的数据，这会造成大量的网络带宽资源消耗，影响分布式存储系统的性能。

华中科技大学在申请的专利文献“一种基于网络编码的存储扩展方法”(专利申请号：201810304384.4，公布号：CN 108536396 B)中公开了一种基于网络编码的存储扩展方法。该方法的思路是将存储扩展前的条带划分为多个扩展组，并进一步将每个扩展组划分为PG和DG；在DG内循环地依次从原节点中取数据块，得到一系列的数据集合；利用网络编码对每一个数据集合进行编码生成更新块，使用这些更新块对PG中的编码块进行本地更新或者异地更新；将编码块或者数据块传输至新增节点上，并保持扩展后数据块与编码块在所有节点上均匀放置；删除所有传输至新节点的数据块和编码块，并删除DG内所有的编码块。该方法在存储扩展时利用存储节点的计算资源对数据块进行编码并对部分编码块进行本地更新，减少了扩展带宽，但是，该方法仍然存在的不足之处是，进行存储扩展后系统中节点的数量增多，需要更多的编码块来满足系统对于容错能力的要求，该方法在存储扩展时单个条带内编码块的数量保持不变，系统扩展后的容错能力无法适应系统的节点规模。

陈亮等人发表的论文“随机二元扩展码：一种适用于分布式存储系统的编码”(计算机学报，2017年9月)提出一种可以动态调整码率和纠删能力的编码方法。该方法的编码矩阵由一个单元阵和一个随机阵构成，采用自顶向下的设计模式，通过控制随机矩阵中各个元素生成，达到码字整体上的高性能。该方法的参数具有动态调整的能力，其编码矩阵的行列可以自由伸缩，进而，存储系统可根据应用需求的变化，动态调整码率和纠删能力，该方法仍然存在的不足是，在对失效节点进行修复时需要连接的节点数量大于信息节点数量，修复度高。