[发明专利]压缩和重复数据删除分层驱动

说明书

技术领域

本公开涉及文件系统，并且更具体而言，涉及压缩和重复数据删除分层驱动。

背景技术

在具有大数据处理需求的企业环境中，降低总拥有成本是一个重要的考虑。例如，为了优化硬件利用并减少所需服务器的数量，可能期望在单个服务器上合并多个应用处理，例如通过利用虚拟化或其它技术在单个服务器上容纳多个服务。在另一个例子中，可以期望利用集群文件系统来为若干服务器提供共享的合并存储。

这种合并的服务器环境将常常经历具有许多并发数据请求的繁重的读写负荷。为了以及时的方式给这种数据请求提供服务并且为了满足应用性能需求，使用诸如固态盘的昂贵的高速介质可以是优选的。从而，最大化可用数据储存的利用变成降低总拥有成本的更大因素。

最大化数据储存利用的一种方法是压缩数据，这会以增加处理器开销为代价提供显著的空间节约。另一种方法是提供重复数据删除，其中数据的冗余拷贝被消除并且用对数据的单个拷贝的引用代替。这两种方法还可以组合并且可能对合并的服务器环境尤其有效。

为了提供更高的性能并且为了优化自由空间管理，诸如压缩和重复数据删除的特征通常在低层次紧密集成到文件系统中。但是，许多现有的文件系统不提供对压缩和重复数据删除的固有集成支持。而且，当系统已经在使用缺乏对压缩和重复数据删除特征的固有支持的特定文件系统时，迁移到具有这种特征支持的不同文件系统上常常是不可行或不实际的，尤其是对受限于特定众所周知的工作环境的生产系统。虽然开源文件系统可以允许添加新特征的可能性，但是这种任务可能需要大量的开发和测试资源来以确保正确的集成、兼容性和稳定性。

这部分中所描述的方法是可以被推行的方法，但不一定是之前已经被设想或推行的方法。因此，除非另外指出，否则不应当仅仅由于这部分中描述的任何方法被包括在这部分中就假设它们是现有技术。

附图说明

本发明是通过例子而不是通过限制的方式在附图的各图中例示的，并且在附图中相同的标号表示相同的元素，并且其中：

图1A是描绘根据实施例的利用压缩和重复数据删除分层(COLD)驱动来扩展文件系统功能的示例计算机系统的框图；

图1B是描绘根据实施例的由压缩和重复数据删除分层(COLD)驱动使用的示例元数据文件的框图；

图1C是描绘根据实施例的由压缩和重复数据删除分层(COLD)驱动创建的元数据记录的框图；

图2是描绘根据实施例的用于通过压缩和重复数据删除分层(COLD)驱动给数据请求提供服务的处理的流程图；

图3是可以实现实施例的计算机系统的框图。

具体实施方式

在以下描述中，为了解释，阐述了各种具体细节，以便提供对本发明的透彻理解。但是，显然，本发明没有这些具体细节也可以被实践。在其它情况下，众所周知的结构和设备以框图形式示出，以避免不必要地模糊本发明。

总体概述

在实施例中，文件系统操作经过居间文件系统驱动，该文件系统驱动在现有的基本文件系统之上提供逻辑文件系统。在一个实施例中，居间文件系统具体而言是压缩和重复数据删除分层驱动(“COLD驱动”)。COLD驱动提供在现有基本文件系统之上接口的上层操作系统驱动，从而通过提供具有压缩、重复数据删除、加索引和其它特征的逻辑文件系统来扩展基本文件系统的功能。COLD驱动所需的元数据可以作为基本文件系统的标准基本文件存储，从而允许现有的文件系统被原样使用。此外，通过使用诸如POSIX的可移植文件系统应用编程接口(API)来与下层基本文件系统接口，可以使COLD驱动模块化并可跨广泛的文件系统和操作系统移植。以这种方式，生产系统可以继续使用现有的众所周知的配置，同时COLD驱动提供在企业空间中需要的新特征，尤其是适于合并环境的存储优化特征。

系统概述

图1A是描绘根据实施例的利用压缩和重复数据删除分层(COLD)驱动130来扩展基本文件系统160功能的示例计算机系统100的框图。计算机系统100包括计算设备110和数据存储设备150。计算设备110包括操作系统111、应用120A、应用120B和应用120C。操作系统111包括COLD驱动130和基本文件系统接口140。COLD驱动130包括压缩引擎132、重复数据删除引擎134和加索引引擎136。数据存储设备150包括基本文件系统160。基本文件系统160包括文件系统元数据162、基本数据文件165、COLD数据文件170和COLD元数据文件180。