[发明专利]用于增强对存储云去重技术的可靠性的方法与系统

说明书

技术领域

本发明一般涉及云计算，更具体地，涉及用于增强对存储云去重的可靠性的方法与系统。

背景技术

信息技术正在快速变化而且现在形成了日益触及几乎商业与社会生活每个方面的不可见的层。被称为云计算的一种新兴计算机模型解决了互联网连接设备的爆炸成长，并且补充了当今世界日益增加的技术的出现。云计算是一种服务交付模式，用于对共享的可配置计算资源池（例如，网络、网络带宽、服务器、处理、内存(memory)、存储器(storage)、应用、虚拟机和服务）进行方便、按需的网络访问，这些可配置计算资源能够以最小的管理成本或与服务提供者进行最少的交互就能快速部署和释放。

云计算可大规模缩放，提供卓越的用户体验，而且其特征在于新的、互联网驱动的经济。从一个角度看，云计算涉及业务数据在云中的存储与执行，其中云是跨地理位置分布的互连的数据中心、计算单元和存储系统的网。

存储消费者数据并且跨越地域的公共存储云通常具有跨不同位置和国家的存储枢纽（storage hub）的大量冗余文件。为了提高云存储业务的效率，供应商一般应用数据去重来解决冗余数据问题。

数据去重是一个存储概念，其中冗余数据被消除，以便显著地收缩存储需求并提高带宽效率。在去重过程中，重复的数据被删除，只留下数据的一个副本要存储。这单个副本被称为主副本，而每个被删除的副本（称为辅助副本）保持指向这个主副本的参考指针。一些数据去重技术去重跨位于跨异质存储设备的不同数据中心的许多存储枢纽分布的云中的数据。

去重可以利用后去重和/或内去重来实现。在后去重的情况下，关于带内流量没有去重的开销。当数据到达时，数据就存储在设备上，在这种初始的存储过程中不关心任何去重。后去重守护进程最终在初始存储之后的某个时间运行并且扫描设备寻找重复的副本并且试图除去冗余的副本。在内去重的情况下，去重是对带内流量进行的，例如，基本上是在数据初始存储的过程中实时地进行的。例如，对于进入的写请求，执行搜索，确定给定的数据项是否已经存储在系统中。在系统中找到已经存在的副本（例如，重复的文件）的情况下，避免对进入的写请求的写操作，并且作为代替，创建到指向已经存在的副本的数据项指针。

去重可以在计算环境中以不同的粒度等级执行，例如以设备级、存储池级和存储系统级。在设备级，重复副本识别的范围限定到单个设备。存储池级去重应用到相同类型设备的集合，这可以是同质类型的单个存储池或者多个存储池。存储系统级去重应用到具有相似或异质类型的设备的存储设备池，重复副本识别的范围是整个系统级。

通过保持单个主副本并删除其它冗余副本来解决冗余数据问题的数据去重技术没有设计成智能地选择在其上保持主副本的存储驱动器。作为代替，这种去重系统简单地把主副本保留在检测到多个重复文件中的一个第一次出现的物理存储位置。如果这个位置碰巧是相对不可靠的存储器，则主副本随后可能由于硬件故障或其它因素而变得不可用，造成存储云中数据可用性的破坏。

例如，在设备级的去重中，相同数据的两个副本可以分别存储在磁盘的两个不同扇区，例如，副本1存储在内部磁盘扇区，而副本2存储在外部磁盘扇区。在去重机制首先识别出副本1的情况下，它将删除副本2并且用指向副本1的指针代替副本2。但是，磁盘操作性能通常在磁盘的外部扇区上比内部扇区更高。通过把主副本（例如，副本1）保存在内部扇区上，访问副本2的用户会遭受性能的降级，因为他们实际上是在访问存储在内部扇区的文件，而不是存储在外部扇区的文件。

作为另一个例子，在存储池级的去重，去重机制不考虑多个主副本跨存储设备的分布。碰巧，与池中的其它存储设备相比，一个存储设备以存储不成比例的大量主副本而告终而且变得超载。而且，去重机制不考虑池中各个可用存储设备的活动健康状况。照此，主副本可能存储在具有相对不好健康状况而且有可能失败的设备上。

存储系统级的去重会放大与性能、负载分布和健康状况关联的以上问题。而且，存储系统级的去重会遭受服务质量（QoS）问题。例如，存储系统可能包括相对低可靠性的第一存储器（例如，JBOD（简单磁盘捆绑）控制器）和相对高可靠性的第二存储器（例如，RAID（独立磁盘冗余阵列）控制器）。QoS需求可以委托RAID控制器中的存储器。但是，不区分JBOD和RAID存储器的去重机制可能在JBOD存储器上而不是RAID存储器上保存主副本。在这种情况下，存储器提供商可能不能满足期望的QoS等级和/或访问在RAID控制器上指定的副本的客户可能遭受性能问题。

发明内容