[发明专利]用于在具有最小协作的数据中心之间进行全局去重的技术

权利要求书

1.一种用于对数据流进行去重的方法，所述方法包括：

将所述数据流分块为多个数据对象；

计算与所述数据对象中的每个数据对象相关联的键，其中，计算所述键包括生成该数据对象中的至少一个数据块的哈希；

进行不可变写入操作以将每个数据对象存储在云存储中，每个数据对象由其相关联的计算出的键来索引，该相关联的计算出的键唯一标识该数据对象以及该数据对象在所述云存储中的位置，

其中，响应于数据对象的相关联的计算出的键与所述云存储中所存储的、与数据对象相关联的任一其他键不匹配，所述不可变写入操作将该数据对象成功存储在所述云存储中，

其中，响应于数据对象的相关联的计算出的键与所述云存储中所存储的、与数据对象相关联的键相匹配，所述不可变写入操作不能将该数据对象存储在所述云存储中；以及

更新与所述数据流相关联的元数据，以使得能够从所述云存储对所述数据对象进行后续检索，

其中响应于进行所述不可变写入操作并且不经过所述云存储中多个数据中心之间的通信，所述不可变写入操作不存储重复的数据对象到所述云存储中。

2.根据权利要求1所述的方法，其中，将所述数据流分块为多个数据对象包括：进行可变长度分块过程，以生成所述多个数据对象。

3.根据权利要求2所述的方法，其中，所述可变长度分块过程利用双阈值双除数算法。

4.根据权利要求1所述的方法，其中，所述键包括块键的串联，其中，每个块键与数据对象的固定大小的数据块相关联。

5.根据权利要求1所述的方法，其中，生成所述哈希包括：

针对所述数据对象中的所述至少一个数据块中的每个数据块，计算基于内容的哈希；以及

通过串联多个所计算出的基于内容的哈希，来计算所述键。

6.根据权利要求1所述的方法，其中，更新元数据还包括更新映射数据结构。

7.根据权利要求6所述的方法，其中，所述映射数据结构按顺序存储所计算出的与所述多个数据对象相关联的键，以使得能够重建所述数据流。

8.根据权利要求6所述的方法，其中，所述映射数据结构包括多个条目，所述多个条目中的每个条目被配置为存储所计算出的键中的一个键。

9.根据权利要求1所述的方法，其中，所述数据流包括备份数据流。

10.根据权利要求1所述的方法，其中，所述数据流包括虚拟磁带库数据流。

11.根据权利要求1所述的方法，其中，所述云存储包括私有云存储。