[发明专利]分布式存储系统的编码

说明书

本发明涉及一种用于对码字中的输入数据进行编码的方法。所述码字是作为矢量u′和矩阵A的乘积而获得的，所述矢量u′包括符号，(I)，剩余位置(II)包括所述输入数据，所述矩阵A可表示为(III)，其中B为置换矩阵，F₀，F₁，……，F_m‑1是GF(2^μ)上未等效置换为对角矩阵的l_i×l_i个矩阵，其中：集合包括带(IV)的整数s，集合包括整数(V)，使得(VI)或者集合包括整数(VII)。

技术领域

本发明涉及用于编码码字中的输入数据的方法以及用于更新码字的方法。本发明还涉及存储控制器和计算机可读存储介质。此外，本发明还涉及一种存储程序代码的计算机可读存储介质，该程序代码包括用于执行上述方法之一的指令。

背景技术

在由N_s台服务器组成的信息存储系统中，由于很多不同原因，每台配备有N_d个存储设备、服务器、磁盘和块的服务器可能会随时出现故障或临时脱机。为了确保系统中存储的信息持续可用，可以在不同服务器/磁盘上存储多个数据副本(Google文件系统和Hadoop分布式文件系统中使用了这种方法)。但是，这会大大增加存储要求和整体设备成本。另一种解决方案是采用某种类型的纠删编码，即将一块数据(分条)划分为k个信息块(符号)，为它们计算n-k个奇偶(校验)块(符号)，并将这些块存储在不同磁盘和服务器上。如果其中任何一个故障，则可以将相应符号视为已擦除，并尝试通过相应编码的纠删解码来恢复丢失的块。

已经提出了许多用于网络存储系统的纠删码，包括：里德－所罗门编码、金字塔编码、EvenOdd和RDP编码、奇偶分割编码和Zigzag编码。(n，k，n-k+1)里德－所罗门编码提供了针对多达n-k个擦除的任意组合的保护，因此具有最低的可能冗余。但是，恢复任何已擦除符号都需要访问至少k个存活符号。金字塔和奇偶分割编码提供了通过访问至多l＜k个非擦除符号来恢复大量擦除的能力。这是以更高编码冗余为代价来实现的。实质上，这些构造是通过在码字中引入附加校验符号从一些最大距离可分离编码(例如，里德－所罗门编码)中获得的，其中附加校验符号仅取决于信息符号的一些子集。

通过矢量字母表对阵列编码(如EvenOdd、RDP和Zigzag编码)进行定义。这使得人们可以设计高效编码算法，并且减少在擦除恢复情况下通过网络传输的数据量。但是，对于编码维度k和冗余度n-k的任意值，仍然没有明确和有效的方法用于这些编码的构造。

网络存储系统的性能取决于编码和重建操作过程中产生的通信量以及访问的服务器数量、磁盘访问速率和相关算法的计算复杂度。在此类系统中出现的一个重要问题是：应用倾向于将数据写入少于k个块组成的相对较少的块。这需要实施缓冲，即将数据累积到某个地方，直到收集到足够数量的数据为止。由于用于缓冲的存储设备自身可能会发生故障，这种方法可能会导致数据丢失。此外，应用可能需要更新之前存储的分条中的某些信息块。为了保持校验块的一致性，需要获取其旧值，以及信息块的旧值，计算它们的差值，并更新它们以反映新数据。这涉及许多输入/输出和网络传输操作，会严重降低系统性能。

如果进行纠删解码，则应该尽可能少地访问服务器，因为每个网络数据传输都会导致非常高的性能代偿。这个问题通过构造本地可解码编码来解决，例如金字塔和奇偶分割编码。但是，由于这些编码具有比可比较最大距离可分离编码更多的校验符号，因此部分更新会带来更高的性能开销。因此，此方法已仅用于不可变数据。

发明内容

本发明的目的在于提供用于编码数据的方法和用于更新码字的方法，其中所述方法克服了现有技术中的一个或多个上述提到的问题。

特别地，本发明的目的可以包括确保分布式存储系统中的数据可用性，该分布式存储系统可能遭受阻塞、设备和服务器故障。