[发明专利]用于在具有最小协作的数据中心之间进行全局去重的技术

说明书

提供了一种使用多个数据中心的云存储环境中的全局数据去重的系统和方法。每个云存储网关设备将数据流分割为多个数据对象，并生成基于内容的哈希值作为每个数据对象的键。利用不可变写入操作来将数据对象存储在云中相关联的键处。

技术领域

本公开涉及数据去重，更具体地，涉及在服务于多个数据中心的基于云存储的环境中的全局数据去重。

背景技术

许多大型组织可以利用云存储(“云”)作为企业数据的公共全局存储库，可以在地理上分离的数据中心之间访问和共享，即供应这些企业数据。这些组织通常采用已知的数据去重技术，来以数据中心级别降低或消除重复数据的存储。例如，除了数据中心级别去重之外，组织还可以采用“全局去重”技术，该技术在来自数据中心的不同办公室的、存入网络(例如广域网(WAN)链接)上的云中的数据流之间进行去重。该全局去重技术的实现可以使全局存储库有能力在办公室之间同步去重元数据，例如指纹。然而，随着全球办公室数量的增大，这种实现出现问题，从而增大了来自数据中心的WAN链接之间的网络流量。另外，办公室之间的WAN连通性的任何中断，会导致过时的去重元数据。

针对该全局去重问题的一个解决方案为：使各数据中心进行局部数据去重处理，来降低在网络上发送的用于存储在云中的数据量。然而，由于源于不同数据中心的冗余数据可能仍存储在云中，因此这种解决方案未实现最优性能。另一解决方案可以为：将数据去重引擎安装在云中；然而，云存储环境中的计算成本非常升高，从而使这种解决方案的成本高到无法接受并且有时不切实际。

因此，需要一种具有成本效益的技术，来实现服务于多个数据中心的云存储环境中的全局数据去重。

附图说明

通过接下来参照结合以下附图的描述，将更好地理解这里描述的实施例的优点，其中，相同的附图标记指示相同或功能上相似的元件：

图1是示例性云存储环境的示意性框图；

图2是用作云存储网关设备的备份式(备份)系统的示意性框图；

图3是详述用于进行云存储环境中的全局数据去重的过程的步骤的流程图；

图4是详述用于将数据流分块为多个数据对象的过程的步骤的流程图；

图5是示例性数据流的框图；

图6是示出了滑动窗口的示例性数据流的框图；

图7是已根据分块算法截取的示例性数据流的框图；

图8是示出了已从数据流中截取的多个数据对象的框图；以及

图9是示例性映射数据结构的框图。

具体实施方式

本发明的实施例针对一种用于在服务于多个数据中心的云存储环境中提供全局数据去重的系统和方法。云存储环境可以包括公共云或私有云，公共云对来自不同公司和不同管理域的数据进行多路复用，私有云为诸如来自单个实体(例如公司)的单个管理域服务。在各数据中心，一个或更多个云存储网关设备提供接口，以管理数据在云中的存储。云存储网关设备可以包括例如存储系统、虚拟磁带库、存档服务器等。各云存储网关设备可以被配置为将数据流分块(分割)为一个或更多个用于在云中存储的数据对象。这里所使用的数据流可以包括例如文件、备份、磁带数据流等，该磁带数据流被分割为用于形成数据对象的较小组的数据块。每个数据对象与键相关联，作为例如键值对，以存储在云中。