[发明专利]分布式存储系统中的混合冗余容错编解码方法及系统

说明书

本发明公开了一种分布式存储系统中的混合冗余容错编解码方法包括：判断当前输出网络状况的好坏；若当前输出网络状况良好，采用Reed‑Solomen纠删码编码方式对数据进行编码；若当前输出网络状况不好，则采用非线性自修复码编码方式；对采用不同编码方式编码得到的数据，采用相对应的解码方式对数据进行解码。本发明还公开了一种分布式存储系统中的混合冗余容错编解码系统，包括：判断网络状况模块，Reed‑Solomen纠删码编解码模块，非线性自修复码编解码模块。本发明提供的分布式存储系统中的混合冗余容错编解码方法和系统，根据不同网络状况采取不同的容错方式，降低对存储和网络带宽的要求，通过解决少量编码信息重构问题，较大程度降低丢包导致的数据重组困难。

技术领域

本发明涉及分布式存储系统技术领域，特别是指一种分布式存储系统中的混合冗余容错编解码方法及系统。

背景技术

目前常用的容错技术主要有基于复制(replication)的容错技术和基于纠删码(erasure code)的容错技术。前者需要的存储开销巨大，后者是一类源于信道传输的编码技术，因为能够容忍多个数据帧的丢失，被引入到分布存储领域，使得基于纠删码的容错技术成为能够容忍多个数据块同时失效的、最常用的基于编码的容错技术。采用纠删码进行容错的步骤如下：

第一步，数据分块，把待存储的数据对象分割成若干大小相等的数据块；

第二步，数据块编码，对上述数据块进行编码，得到一些编码后的编码块，依据编码方式的不同可以分为Reed-Solomon码、奇偶阵列码(parity array code)、奇偶校验码(parity-check code)和低密度奇偶校验码(low-density parity-check code)等类型；

其中常用的Reed-Solomon编码是一种前向纠错的信道编码，对由校正过采样数据所产生的多项式有效，编码过程首先在多个点上对这些多项式求冗余，然后将其传输或者存储，对多项式的这种超出必要值的采样使得多项式超定(过限定)，当接收器正确的收到足够的点后，它就可以恢复原来的多项式，即使接收到的多项式上有很多点被噪声干扰失真；

Reed-Solomen纠删码是目前应用最广泛的多进制码，能纠正随机错误和突发错误。其特点是：首先在相同的编码冗余度下，具有很强的纠正随机错误和突发错误的能力；其次在编码效率相同的情况下，纠错能力是最强的，可获得较大的编码增益；再次，它在短码和中等码长的情况下接近限，而且它与数据交织技术结合后，能大大提高纠突发错误的性能；最后，它具有严格的代数结构，体现为线性循环多项式。

第三步，数据解码，读取数据时只要获得任意足够数量的编码后的数据块，就可以解码得到原始数据。

基于复制的容错技术简单直观，易于实现和部署，当数据失效以后，基于复制的容错技术只需要从其他副本下载同样大小的数据即可进行修复，但需要为每个数据对象创建若干同样大小的副本，存储空间开销巨大。

纠删码容错技术针对有损信道进行信息重建，能够把多个数据块的信息融合到较少的冗余信息中。其优点是存储空间利用率高，缺点在于对数据的读写操作要分别进行编码和解码操作，导致对分布式系统的计算能力和网络要求较高，且纠删码并不重构已损编码信息；此外当数据失效以后则需要下载至少k个同样大小的数据块才能解码恢复原始数据，要占用更多的网络带宽资源，给数据中心中本来就比较紧张的带宽资源带来了巨大的压力，也给数据的读取带来很大的性能损失，维护丢失冗余的代价限制了基于纠删码的容错技术的应用和推广。

发明内容

有鉴于此，本发明的目的在于提出一种存储空间开销小、对网络带宽要求低并能够降低数据重构困难的分布式存储系统中的混合冗余容错编解码方法及系统。

基于上述目的本发明提供的分布式存储系统中的混合冗余容错编解码方法包括：

判断当前输出网络状况的好坏；