[发明专利]分布式数据存储系统中的数据存储和维护的方法以及对应设备

说明书

技术领域

本发明一般涉及分布式数据存储系统。具体地，本发明涉及一种分布式数据存储系统中的数据存储的方法，就网络存储设备之间的数据交换所需的带宽以及存储数据项所需的网络存储设备的数量而言，其结合了高数据可用性和对网络和数据存储资源的低影响。本发明还涉及一种修复该分布式数据存储系统中的故障存储设备的方法以及实现本发明的设备。

背景技术

随着大量数据处理设备(诸如视频和图像处理设备等)的迅速散布的部署，需要巨大量数据的可靠存储，用于直接存储或者作为部分备份存储。随着越来越多的设备装配有网络连接性，连接网络的设备(“存储设备”)中的数据的分布式存储被视为节省成分的解决方案。在这种可以部署在诸如因特网这样的无管理网络上的分布式数据存储系统中，已经开发了将相同的数据项复制到多个连接网络的设备以确保数据可用性以及对数据丢失的复原性的方法。这被称为数据复制或添加冗余性。冗余性必须在广义上采用，并且包含纯粹的数据复制以及诸如纠删(erasure)码或再生码等编码技术的使用(其中，为了复原性，将编码数据放置在存储设备中)。为了应付由于设备故障导致的永久性数据丢失或者由于临时的设备不可用导致的临时性数据丢失的风险，希望高冗余性。然而，为了降低所需的关于通信和存储大小的成本(通常称为复制成本)，反而希望具有低冗余性。

因此，冗余性是任何必须基于不可靠的组件提供可靠的服务的实际系统的关键方面。存储系统是使用冗余性掩蔽不可避免的盘不可用性和故障的服务的典型示例。如上所述，可以使用基本的复制或编码技术提供这种冗余性。

纠删码可以提供比基本的复制好得多的效率，但是它们未被完全地部署在当前系统中。使用纠删码时的主要顾虑，除了由于编码-解码操作导致增加的复杂度之外，来自故障存储设备的维护。实际上，当存储设备出故障时，必须替换其存储的不同文件的所有块以确保数据耐久性。这意味着，对于每个丢失的块，为了仅仅重新创建一个新块，必须下载并解码该块所源自的整个文件。与基本的数据复制相比，就带宽和解码操作而言，该开销极大地限制了纠删码在故障以及因此而进行的修复是常态而非意外的系统中的使用。然而，网络编码可以用于极大地减少维护过程期间必需的带宽。这为特别为应付维护已经被编码的文件而设计的新的分布式存储系统作好准备，从而利用纠删码的效率，同时减轻其已知的缺点。

所需要的是一种实现高级别的数据可用性并且连带地考虑可用性需求和复制成本的分布式数据存储解决方案。

发明内容

本发明旨在减轻现有技术的不便之处。

为了优化分布式数据存储系统中的数据存储，本发明提出一种在包含网络中互连的存储设备的分布式数据存储系统中的数据存储的方法，所述方法包含对要存储在所述分布式数据存储系统中的每个数据文件执行的以下步骤：

-将所述数据文件拆分成k个数据块，并且从这k个数据块通过所述k个数据块的随机线性组合创建至少n个编码数据块；

-通过在作为同一存储设备簇的部分的至少n个存储设备上散布所述文件的所述至少n个编码数据块来存储所述至少n个编码数据块，每个簇包含存储设备的独特的集合，所述文件的所述至少n个编码数据块分布在存储设备簇的所述至少n个存储设备上，使得每个存储设备簇存储来自至少两个不同文件的编码数据块，并且存储设备簇的所述存储设备中的每个都存储来自至少两个不同文件的编码数据块。

本发明还包含一种修复根据本发明的存储方法存储数据并且将所存储的文件拆分成k个数据块的分布式数据存储系统中的故障存储设备的方法，所述方法包含以下步骤：

-将替换存储设备添加到所述故障存储设备所属的存储设备簇；

-由所述替换存储设备从所述存储设备簇中的k+1个剩余的存储设备中的任何一个接收k+1个新的随机线性组合，所述k+1个新的随机线性组合根据来自由所述k+1个存储设备中的每个所存储的两个不同文件X和Y的两个编码数据块生成；

-使用代数运算对所接收的所述新的随机线性组合在它们之间进行组合以获得两个线性组合，其中，获得两个块，一个仅与X有关，另一个仅与Y有关；

-将所述两个线性组合存储在所述替换存储设备中。

根据所述修复方法的变型实施例，所述修复方法包含：将返回到所述分布式数据系统的故障存储设备重新整合到所述存储设备簇中。