[发明专利]用于重复数据删除存储器的可扩展垃圾收集

说明书

用于清理存储系统的系统和方法。通过识别包含死片段或未引用片段的结构来清理重复数据删除存储系统。这包括处理配方以识别不再是活对象配方的一部分的片段。然后，移除死片段。这是通过拷贝转发活片段、然后作为整体删除包含死片段的结构来实现的。

技术领域

本发明的实施方式涉及用于执行数据保护操作(例如收集垃圾)的系统、装置和方法。更具体地，本发明的实施方式涉及用于在重复数据删除存储系统(例如基于重复数据删除云的存储系统)中收集垃圾的系统和方法。

背景技术

保护数据是当今计算机技术的基本方面。如果数据不受保护，则数据更有可能丢失，并且数据丢失可能对实体造成重大损害。因此，许多实体将它们的数据或它们数据的备份存储在存储系统(例如基于云的存储系统)中。然而，由于相关的成本以及由于强加于数据或与数据相关的要求和策略，保护数据比简单地将数据的副本存储在云中要复杂得多。例如，备份通常受制于备份策略(例如，每天、每周、每月创建备份)和保留策略。这导致大量数据在存储要求和计算要求方面具有相应的成本，即使对数据进行了重复数据删除时也是如此。

由于各种原因，备份通常随着时间推移而被删除。例如，系统可能在保留期到期时删除备份。删除备份不是简单的任务，特别是在重复数据删除存储系统中。在重复数据删除系统中，数据通常被分成块或片段并以重复数据删除形式存储。这通过允许将相同的块或片段用于多个备份或多个对象来降低存储要求(和成本)。

不可避免地，存储在数据保护系统中的一些数据或对象是死的。客户端或存储系统不引用或不再需要死的对象或数据。由于备份过期和出于其他原因，备份系统执行垃圾收集操作以删除或移除不再由任何有效备份引用的对象。然而，这不能通过简单地删除死对象的片段来实现，因为那些片段可能对应于活对象。此外，传统方法(例如引用计数)是不灵便的，因为它们可能需要保护系统来维护数十亿的计数。因此引用计数消耗大量存储空间并且它们非常难以管理，特别是在分布式系统和基于云的系统中。

附图说明

为了描述可以获得本发明的至少一些方面的方式，将通过参考在附图中示出的本发明的特定实施方式来呈现更具体的描述。应理解这些附图仅描绘了本发明的示例性实施方式并且因此不被认为是对本发明范围的限制，将通过使用附图以附加的特征和细节来描述和解释本发明的实施方式，其中：

图1A示出用于在存储系统(例如基于云的存储系统)中存储重复数据删除数据的方式的示例；

图1B示出在存储系统(例如基于云的存储系统)中已存储数据在清理之前和清理之后的示例；

图1C示出保护系统的示例，该保护系统被配置为在存储系统(例如基于云的存储系统)中执行包括垃圾收集的数据保护操作；

图2示出保护系统用来清理对象存储器的对象存储桶和删除桶的示例；

图3示出将对象从对象存储桶移动到删除桶以准备执行垃圾收集操作的过程；

图4示出用于执行数据保护操作(例如垃圾收集)的方法的示例；

图5示出垃圾收集操作的启动阶段的示例，其中估计了工作器和工作器的容量；

图6示出基于垃圾收集过程所影响的相似群来估计工作器的数量的方法的示例；

图7示出在估计垃圾收集过程所需的工作器的数量时可以考虑的因素的示例；

图8A和图8B示出处理相似群的示例，包括在执行垃圾收集过程时标记受影响的相似群；

图9示出相似群和与该相似群具有相同标识符的相关联子群的示例；以及

图10示出在准备垃圾收集过程的拷贝转发阶段中标记活片段的示例。

具体实施方式