[发明专利]垃圾收集系统和过程

说明书

公开了一种用于重复数据删除存储系统的垃圾收集过程。在一个实现方式中，公开了一种方法来执行垃圾收集，该垃圾收集在外扩集群和非常大量的数据上高效地工作。该方法包括通过检查对象存储中的数据块的引用映射中的数据以确定对象存储中的后端对象中的哪些位置被引用以及哪些位置不再被过程引用，来压缩外扩集群中的对象存储中的数据。更改对象存储中的后端对象以从不再被引用的位置移除块数据，并更新散列位置表以移除已经被移除的块数据的条目。

优先权和相关申请

本申请要求于2016年11月29日提交的美国临时申请No.62/427353、以及于2017年11月28日提交的美国临时申请No.62/591197的权益；并且是于2017年5月19日提交的美国专利申请号15/600641的部分继续，该美国专利申请号15/600641是于2016年10月20日提交的美国专利申请号15/298897的部分继续，该美国专利申请号15/298897要求于2015年11月2日提交的美国临时申请No.62/249885、于2016年8月10日提交的美国临时申请No.62/373328、以及于2016年5月20日提交的美国临时申请号62/339090的权益；这些申请的整体通过引用结合于此。

技术领域

这些要求保护的实施例涉及一种用于使用重复数据删除来减少数据存储的方法，并且更具体地，涉及对一个或多个多网络能力服务器的存储器中的经重复数据删除的数据执行垃圾收集。

背景技术

公开了一种垃圾收集系统，其使用中间联网设备将数据对象存储在(一个或多个)远程定位对象存储设备上。

重复数据删除是一种专门的数据压缩技术，用于消除重复的数据副本。通常使用专门配置的存储设备来完成数据的重复数据删除以降低数据的存储成本，该专门配置的存储设备具有内部地直接连接到存储驱动器的重复数据删除引擎。

存储设备内的重复数据删除引擎从外部设备接收数据。重复数据删除引擎根据存储在表中的接收数据创建散列。扫描该表以确定是否先前在表中存储了相同的散列。如果否，则将接收的数据存储在云对象存储中，并且将接收的数据的位置指针连同所接收的数据的散列一起存储在表内的条目中。当检测到接收的数据的副本时，将条目存储在表中，其包含散列以及指向云对象存储内存储重复数据的位置的索引。

该系统具有直接耦合到内部存储驱动器的重复数据删除引擎，以维持散列表的低延迟和快速存储。然而，数据存储在云对象存储中。

当由重复数据删除引擎管理的对象被客户端删除时，云对象存储中使用的存储空间不会立即回收。一些信息块可能被多个对象引用，因此仅不再被引用的块才能被物理删除并供应其存储空间。发现不再被引用的块并释放相应的存储空间的过程称为垃圾收集。

以扩展到大量数据的方式执行垃圾收集对于重复数据删除引擎的是最难的问题之一。在服务器集群中传播数据的复杂性加剧了这种困难。

发明内容

在一个实现方式中，公开了一种执行垃圾收集的方法，该方法通过压缩对象存储中的数据块中的数据，跨分布在多个服务器上的系统(外扩集群)以及跨非常大量的数据有效地工作。压缩对象存储中的数据包括将后端对象存储在对象存储中并检查对象存储的引用映射中的数据，以确定对象存储中的后端对象内的哪些位置在映射中被引用，以及哪些位置不再被引用。更改对象存储中的后端对象以从不再被引用的位置移除块数据，并更新散列位置表以移除已经被移除的块数据的条目。

该方法描述了一系列消息、数据结构和数据存储，其可用于针对跨外扩集群中的多个服务器分布的重复数据删除系统执行垃圾收集。

该方法可以是两阶段过程-跟踪过程，然后是压缩过程。跟踪过程确定哪些位置包含仍然活跃或被引用的数据。压缩过程从不再被引用的位置移除数据。