[发明专利]重复数据删除的设备、系统和方法

说明书

本发明旨在提供一种高级重复数据删除方法，特别是具有附加重复数据删除层的高级重复数据删除方法。为此，本发明提出了一种用于对多个存储服务器进行重复数据删除的全局服务器，其中所述全局服务器用于：从存储服务器接收数据块存储请求；确定所述数据块是否在所述存储服务器中高度重复；若所述数据块是高度重复的，则接受所述请求；若所述数据块不是高度重复的，则拒绝所述请求。本发明还提出了一种存储服务器，用于在全局服务器进行重复数据删除。特别地，所述存储服务器用于：向所述全局服务器发送数据块存储请求；从所述全局服务器接收指示所述全局服务器接受所述请求或拒绝所述请求的信息。相应地，提供了一种包括全局服务器和多个存储服务器的系统。

技术领域

本公开涉及一种数据存储重复数据删除方法，尤其涉及一种多个重复数据删除服务器的重复数据删除方法。因此，本公开介绍一种高级重复数据删除方法，支持轻松部署存储服务器，其中全局服务器在多个存储服务器之间存储高重复的数据。所述全局服务器可以是集中式服务器，也可以是分布式服务器。

背景技术

重复数据删除功能(也称为数据优化)是指在不影响原始数据的保真度或完整性的情况下，减少需要存储在磁盘或通过网络传输的数据的物理字节数，即，字节数的减少是无损的，并且可以完全恢复原始数据。通过减少存储和/或传输数据的存储资源，重复数据删除功能节省硬件成本(用于存储和网络传输)和数据管理成本(例如备份)。随着数字存储数据量的增长，节省成本变得很重要。

重复数据删除功能通常使用各种技术的组合来消除持久存储的文件内和文件之间的冗余。一种技术可识别一个或多个文件中的相同数据区域，并且物理上仅存储一个唯一区域(称为块)，同时维护指向与文件相关的块的指针。另一种技术通过存储压缩块等方法将重复数据删除功能与压缩混合。

许多组织使用专用服务器来存储数据(存储服务器)。不同服务器存储的数据经常重复，导致空间浪费。这个问题的解决方案是重复数据删除，通过使用哈希来标识重复而只存储达到一定粒度的唯一数据。但是，重复数据删除是以单个存储服务器为粒度执行的。

为了预防服务器之间的数据重复，通常采用分布式重复数据删除功能。然而，分布式重复数据删除的一个问题是重复数据删除服务器之间可能存在高时延，这可能导致读取性能下降。另一问题是重复数据删除节点之间的强依赖关系。在一个示例中，若从集群中选取一个重复数据删除节点，则存储在这个节点中的数据需要分布到所述集群中的其它节点中。在另一示例中，当增加新的重复数据删除节点时，集群中的当前数据可能需要在所述集群的节点之间重新分布，以均衡负载。

发明内容

鉴于上述缺点，本发明实施例旨在提供一种高级重复数据删除方法，特别是具有附加重复数据删除层的高级重复数据删除方法。目的是避免传统分布式重复数据删除存在的高时延。一个目的是简单、灵活部署多个独立存储服务器。

通过所附独立权利要求中提供的实施例来实现所述目的。从属权利要求中进一步定义了本发明实施例的有利实现方式。

本发明的第一方面提供了一种用于对多个存储服务器进行重复数据删除的全局服务器，其中所述全局服务器用于：从存储服务器接收数据块存储请求；确定所述数据块是否在所述存储服务器中高度重复；若所述数据块是高度重复的，则接受所述请求；若所述数据块不是高度重复的，则拒绝所述请求。

本发明提出了重复数据删除的重复数据删除(嵌套重复数据删除)的概念，包括附加的重复数据删除层(对多个重复数据删除服务器进行重复数据删除)。提出了全局重复数据删除服务器(global deduplication server，GDS)，用于存储高度重复的数据。术语“全局服务器”是“全局重复数据删除服务器”的缩写，是指在由多个重复数据删除服务器组成的存储系统中处理高度重复的数据的服务器。在此背景下，术语“全局”是指网络拓扑，和“主”、“总体”或“中心”意思相同。

在第一方面的一种实现方式中，所述全局服务器用于：若所述数据块的哈希值在所述全局服务器中与等于或大于确定值的水位相关，则确定所述数据块在所述存储服务器中是高度重复的。