[发明专利]用于对擦除码的对数据进行编码和解码的装置和相关方法

说明书

一种对数据进行冗余编码的方法包括：将所述数据格式化为列和行，以及使用编码变换来生成所述数据的第一组投影和第二组投影。对于所生成的每组投影，所述编码变换的编码参数被设置为不同的值。所述第一组投影和第二组投影被存储为已编码数据。一种解码方法读取包括数据片段的数量的指示的设置。将数据片段的所述数量与所述已编码数据的第一组投影中的投影的数量进行比较，以便确定是使用第一解码模式还是第二解码模式。然后，根据所选择的解码模式，对所述已编码数据进行解码，并输出结果。

技术领域

本进展总体上涉及基于Mojette变换的擦除码设计，其使用系统代码和非系统代码的组合来进行数据存储，尤其是用于在取决于擦除存在而具有双模操作的非完美网络上的高效分布式数据传输。

背景技术

数据存储环境中的数据损坏可能有许多不同的原因，例如硬件、网络、磁盘、环境、辐射、电气、软件等，这些都会导致客户端应用中的数据错误。在当今越来越关注分布式数据和应用的数据环境中，问题从比较安全的数据中心(DC)转移到小型物联网(IoT)、装置和互联网。为了缓解数据错误的问题，DC会在多个DC站点上复制数据，以便始终能够提供数据副本。但是，复制数据副本会在数据副本之间产生时间间隔、使数据量倍增，并且还会为DC带来大量额外工作才能维护所有数据。

前向纠错(FEC)代码的引入极大地改善了DC中的这种情况，其用于处理廉价磁盘冗余阵列(RAID)。然而，目前的里德-所罗门(Reed-Solomon) FEC代码和类似的FEC代码不太适合针对未来对广泛分布的存储的需求的分布式数据存储处理。当今存储的标准是使用系统擦除码，其中系统代码指的是输入数据嵌入在编码输出中的情况，而另一方面非系统代码指的是输出不包含输入符号的情况。Mojette变换本质上是一种非系统代码，在非擦除操作模式下没有最佳性能，也不能直接适用于为系统擦除码库设计的传统数据存储擦除码框架或擦除码感知型代码框架。

Mojette变换本质上是非系统代码，并且奇偶校验块(parity chunk)比相应的系统块具有更大的大小(1+ε)，其中ε> 0，使得奇偶校验块(m)比数据块包含更多的信息。随后可以看到，m奇偶校验块的这种特性在现代CPU上使用，目的是减少解码过程的CPU周期，解码过程具有m奇偶校验投影的对齐包，其中ε>>0，作为产生最佳性能的基础。

作为系统代码的一个示例，当里德-所罗门是系统代码时，在没有擦除时它以最佳性能运行，但当需要存在擦除时，在操作期间性能会严重受损。里德-所罗门性能的这种不可预测性使得擦除码的使用主要适用于冷数据存储和性能不太重要的应用。因此，本技术领域内需要提供与对数据的编码和解码有关的替代机制，以便克服已知的缺点。本进展旨在提供这样的机制，以至少减轻传统编码和解码机制的一些缺点。

发明内容

本进展提供了多种机制，于是，通过将解码阶段分成最少两个阶段，即前同步码阶段和稳定阶段，然后在稳定阶段期间每次迭代有效地求解多个像素，可以改进数据块、文件或其他格式形式的数据的编码和解码。由于本文所公开的编码和解码机制使得能够重构或重建错误解码的数据或已擦除的数据，因此本进展使得能够特别实现更稳健的数据存储。由于对错误解码数据的校正仅利用加法和减法形式的算术运算，因此本进展还提供了非密集计算型校正。这在校正例如已经存储在分布式数据存储器中的数据时减少计算需求。

本进展描述了创建高性能、高可用性擦除码，本文称为OPTFEC，其具有内置的系统和非系统双模操作，以及包括Mojette变换的错误检测和校正，并与非擦除操作期间的最佳性能操作相结合。本进展还描述了如何为DC实现方式以及广泛分布的存储网络(如IoT和云存储)引入OPTFEC代码，以及如何将OPTFEC包含在数据变换中。