[发明专利]存储系统

说明书

技术领域

本发明涉及一种存储系统，并且具体地涉及一种具有数据去重(deduplication)的存储系统。

背景技术

针对企业市场的辅助存储需要同时提供若干特征以获得成功。大容量、高性能和高可靠性形成备份和存档装置所需要的核心功能。由于备份涉及到存储多个版本的相似数据，所以去重是这种系统的新关键逻辑特征。利用去重，逻辑存储容量远大于可用物理空间，从而获得大量节省。如果动态(on-the-fly)对备份流执行去重，则可以避免向存储设备中写入去重的块，这对高性能有贡献。另外，由于分布式处理而使得去重所需要的计算得以扩展，所以可以实现更高性能，经过形成对企业客户至关重要的缩短备份窗。

在NPL 1中公开的存储系统是提供了所有上文提到的特征的商用分布式存储系统。简言之，这一系统可以视为保持如下块的集合的分布式存储系统，这些块具有可变长度并且能够引用其它块。该系统使用内容推导的块地址并且提供全局内嵌块去重。在NPL 1中公开的存储系统构建于DHT(分布式哈希表)上，支持从故障的自恢复，使用擦除码来生成数据的冗余码(奇偶位)，并且提供多个用户可选数据弹性级别。

引用列表

专利文献

PTL 1：PATTERSON，R.H.Incremental garbage collection of data in a secondary storage.专利，2008年11月。US 7451168。

PTL 2：PATTERSON，R.H.Probabilistic summary data structure based encoding for garbage collection。专利，2010年4月。US 7707166。

PTL 3：TODD，S.J.，KILIAN，M.，TEUGELS，T.，MARIVOET，K.，AND MATTHYS，F.Methods and apparatus for managing deletion of data.专利，2010年4月。US 7698516。

非专利文献

NPL 1：DUBNICKI，C.，GRYZ，L.，HELDT，L.，KACZMARCZYK，M.，KILIAN，W.，STRZELCZAK，P.，SZCZEPKOWSKI，J.，UNGUREANU，C.，AND  WELNICKI，M.，Hydrastor：a scalable secondary storage.In FAST′09：Proceedings of the 7th conference on File and storage technologies(B erkeley，CA，USA，2009)，USENIX Association，pp.197-210。

NPL 2：WILSON，P.R.Uniprocessor garbage collection techniques.In IWMM′92：Proceedings of the International Workshop on Memory Management(London，UK，1992)，Springer-Verlag，pp.1-42。

NPL 3：ABDULLAHI，S.E.，AND RINGWOOD，G.A.Garbage collecting the internet：a survey of distributed garbage collection.ACM Comput.Surv.30，3(1998)，330-373。

NPL 4：DIJKSTRA，E.W.，LAMPORT，L.，MARTIN，A.J.，SCHOLTEN，C.S.，AND STEFFENS，E.F.M.On-the-fly garbage collection：An exercise in cooperation.Commun.ACM 21，11(1978)，966-975。

NPL 5：EFSTATHOPOULOS，P.，AND GUO，F.Rethinking Deduplication Scalability.In 2nd USENIX Workshop on Hot Topics in Storage and File Systems(Boston，MA，USA，2010年6月)。