[发明专利]用于数据去重的方法、设备和系统

说明书

技术领域

本文讨论的实施例一般涉及计算机数据存储。更具体地说，某些实施例以各种方式涉及用于提供存储的数据的去重（deduplication）的技术。

背景技术

通常，数据去重技术计算表示存储在存储系统的一个或多个数据块中的数据的哈希值。保存哈希值以便随后在哈希值字典中引用，哈希值各自表示当前存储在存储系统中的相应数据。对将附加数据存储在存储系统中的随后请求根据附加数据的哈希是否匹配字典中的任何哈希值进行处理。如果附加数据的哈希匹配表示当前存储的数据的哈希，则存储系统有可能已经存储了附加数据的副本。因此，可避免向存储系统写附加数据，以便改进存储空间的利用。

常规数据去重一般依赖于两种主要方法——在线（in-line）去重和后处理去重之一。用在线去重，存储前端在附加数据可被写入存储后端之前标识附加数据是否有可能是某个当前存储的数据的副本。在此类附加数据被确定为可能是副本的情况下，存储前端事先阻止向存储后端写副本附加数据。

用后处理去重，存储前端向存储后端装置写附加数据。随后，存储前端从存储后端读回附加数据，并且标识已经写入的附加数据是否有可能是某个其它当前存储的数据的副本。在此类已经写入的附加数据被确定为可能是副本的情况下，存储前端命令存储后端擦除已经写入的附加数据。

在线去重倾向于在存储前端与存储后端之间使用比较小的通信带宽，并且倾向于使用比较少的存储后端资源，二者都导致性能节省。然而，通过服务于未决的写请求而在线计算和检查哈希需要存储后端中的更鲁棒、昂贵的处理硬件，并且倾向于降低通过存储前端的存储路径的性能。相比之下，更常见的后处理去重对于存储前端的更低处理要求权衡存储前端与存储后端之间通信带宽的附加使用和存储后端资源的附加使用。

附图说明

在附图中作为示例而非限制图示了本发明的实施例，并且附图中：

图1是图示根据实施例实现存储去重的系统的元件的框图。

图2是图示根据实施例实现存储去重的系统的元件的框图。

图3是图示根据实施例交换去重信息的存储前端的元件的框图。

图4是图示根据实施例确定去重信息的存储装置的元件的框图。

图5是图示根据实施例用于实现数据去重的方法的元素的流程图。

图6是图示根据实施例用于确定数据去重信息的方法的元素的流程图。

图7是图示根据实施例提供数据去重信息的计算机平台的元件的框图。

具体实施方式

图1图示了根据实施例用于实现数据去重的存储系统100的元件。存储系统100例如可包含存储前端120和耦合到其的一个或多个客户端装置(由说明性客户端110a、…、110n表示)。尽管存储系统100的特征在本文中依据由客户端110a、…、110n请求的数据存储进行讨论，但根据不同实施例，此类讨论可扩展成应用于各种各样一个或多个附加或备选客户端中的任一客户端。

其中一个或多个客户端110a、…、110n可与存储系统100的存储后端140通信——例如以各种方式请求对存储后端140的数据读访问和/或数据写访问。存储前端120例如可包括计算机平台的硬件、固件和/或软件以提供支持来自客户端110a、…、110n的请求的一个或多个存储管理服务。由存储前端120提供的一个或多个存储管理服务例如可包含数据去重服务，以便评估存储在存储后端140中的数据是否可能是已经存储在存储后端140中的其它数据的副本。例如，存储前端120可包含去重引擎122——例如硬件、固件和/或软件逻辑——以执行此类去重评估。

在实施例中，存储前端120提供支持由存储后端140的数据存储的一个或多个附加服务。作为说明而非限制，存储前端120可提供一个或多个安全服务以保护存储后端140中的一些或所有。例如，存储前端120可包含或者以其它方式访问一个或多个恶意检测、阻止和/或响应服务——例如以降低病毒、蠕虫、木马、间谍软件和/或影响存储前端120的操作或对存储前端120的访问的其它恶意软件的威胁。在一个实施例中，恶意软件检测可至少部分基于数据指纹信息的评估，诸如根据本文讨论的各种技术交换的数据指纹信息。