[发明专利]重复数据删除的网络系统和方法

说明书

本发明提供一种存储重复数据删除后的数据的网络系统100。所述网络系统100包括共用网络可接入储存库101，所述储存库101存储一个或多个容器102。每个容器102包括一个或多个数据段103和每个数据段103的第一段元数据104。所述网络系统100还包括多个备用节点105。针对所述储存库101中的至少一个容器102，备用节点105存储所述容器102的每个数据段103的第二段元数据106，所述第二段元数据106至少包括所述容器102的每个数据段103的活跃度指示符107。

技术领域

本发明涉及一种重复数据删除的网络系统和方法，具体地说，涉及存储重复数据删除后的数据的网络系统和方法。例如，包括将接收到的数据块存储为重复数据删除后的数据块。具体地说，本发明涉及在类似分布式服务器集群的分布式环境中的重复数据删除领域(分布式重复数据删除)。

背景技术

通过使用称为“重复数据删除”的过程移除已存储的数据来处理备份已成为普遍做法。该过程不存储副本，而是存储对重复数据存储位置的某种形式的引用。“关于”此数据存储的这些引用和其它项通常称为元数据。

存储数据块的元数据通常称作重复数据删除后的数据块，是存储数据块的数据段列表。存储数据块的数据段是连续字节序列，在接收到要存储的数据块后，通常将该数据块分块成这些数据段(分段)。典型数据段长度因产品而异，但平均约为4kB。一个块可含有数千个这样的数据段。

数据段存储在容器中，容器可含有数千个数据段。每个数据段存储在与段元数据相关联的容器中，且容器中的数据段的所有段元数据总体称为容器元数据。数据段的段元数据可包括容器中数据段的存储细节以及数据段的强哈希。

另外，数据段的段元数据可包括关于引用计数的细节，引用计数指示在多少数据块中发现(唯一)数据段。任何新数据段的初始引用计数通常是1，表示其首次使用。当新块引用现有数据段时，现有数据段的引用计数递增。当引用数据段的块被删除时，数据段的引用计数递减。当数据段的引用计数达到0时，可回收空间。

但是传统重复数据删除系统中有一个问题：每当引用计数递增或递减时都需要重写包括引用计数的数据段的段元数据。这会带来大量输入/输出操作(Input/Outputoperations，I/Os)，因此对传统重复数据删除系统的整体性能造成负面影响。

为了解决这一问题，有人提议不使用引用计数，这导致实时系统需要复杂的的标记和扫描算法来回收未使用数据。但是，实时系统的这种标记和扫描非常复杂且易错，会留下无用数据且需要多个遍次，因此耗费性能。

此外，一般来说，数据重复删除计算相当密集，因此希望以分布式方式执行，例如在一个或多个服务器集群上执行。在这种情况下，元数据存储在每个集群的分布式数据库中，集群中的若干或所有服务器都可以访问元数据。分布式数据库通常处理系统进行重复数据删除的常规操作所需的所有一致性和容错性(例如，节点临时故障、更换节点、磁盘故障等)。

但是，传统重复数据删除系统的有效可扩展性限于每个集群仅2至4个服务器，即，能对相同重复数据删除范围同时作用的服务器的数量有限。

此外，传统重复数据删除系统还存在当集群中的一个节点故障时无法恢复数据的问题。这是由于没有进行重要数据的复制，因此已经丢失单个节点可能导致数据完全丢失。

但是，将分布式数据库简单复制到远程数据库会在每个数据库操作中引入时延，需要与远程站点的通信链接，并且在远程站点处需要远程数据库的存储空间。对于完整备份，还需要复制数据库，甚至必须同步这些复制。这需要大量计算资源，会导致更多时延。

发明内容