[发明专利]利用云对象存储的文件系统层次结构和功能

说明书

本文描述的技术涉及数据存储的系统和方法，更具体而言，涉及在对象接口上提供文件系统功能的分层。在某些实施例中，文件系统功能可以在云对象接口上分层以提供基于云的存储，同时允许从遗留应用预期的功能。例如，POSIX接口和语义可以在基于云的存储上分层，同时以与对名称层次结构中的数据组织的基于文件的访问一致的方式提供对数据的访问。各种实施例还可以提供数据的存储器映射，使得存储器映射改变被反映在持久存储装置中，同时确保存储器映射改变和写入之间的一致性。例如，通过将ZFS文件系统基于盘的存储变换成ZFS基于云的存储，ZFS文件系统获得了云存储的弹性。

对相关申请的交叉引用

本PCT申请要求2017年1月6日提交的标题为“FILE SYSTEM HIERARCHIES ANDFUNCTIONALITY WITH CLOUD OBJECT STORAGE”的美国临时申请No.62/443,391的权益和优先权，并要求于2017年3月31日提交的标题为“FILE SYSTEM HIERARCHIES ANDFUNCTIONALITY WITH CLOUD OBJECT STORAGE”的美国非临时申请No.15/610,349的权益和优先权。上述申请的全部内容通过引用并入本文，用于所有目的。

技术领域

本公开一般而言涉及数据存储的系统和方法，并且更具体地涉及在对象接口上将文件系统功能分层。

背景技术

互联网的不断扩展，以及计算网络和系统的扩展和复杂化，已经导致通过互联网存储和可访问的内容的激增。这进而推动了对大型复杂数据存储系统的需求。随着对数据存储的需求不断增加，正在设计和部署更大和更复杂的存储系统。许多大规模数据存储系统利用包括物理存储介质阵列的存储器件。这些存储器件能够存储大量数据。例如，在这个时候，Oracle的SUN ZFS Storage ZS5-4装备可以存储高达6.9PB的数据。而且，多个存储装备可以联网在一起以形成存储池，这可以进一步增加存储的数据的体量。

通常，诸如这些之类的大型存储系统可以包括用于存储和访问文件的文件系统。除了存储系统文件(操作系统文件、设备驱动器文件等)之外，文件系统还提供用户数据文件的存储和访问。如果这些文件中的任何一个(系统文件和/或用户文件)包含关键数据，那么采用备份存储方案以确保在文件存储设备发生故障时不会丢失该关键数据是有利的。

常规的基于云的存储是基于对象的，并提供弹性和规模。然而，云对象存储存在许多问题。云对象存储提供基于取出(get)和放置(put)整个对象的接口。云对象存储提供有限的搜索能力，并且通常具有高延时。有限的基于云的接口不符合本地文件系统应用的需求。将遗留应用转换成使用对象接口将是昂贵的并且可能不实际或甚至不可能。云对象存储加密使制作加密密钥的数据更加脆弱且更不安全。

因此，需要解决上述问题的系统和方法，以便在对象接口上提供文件系统功能的分层。本公开解决了这一需求和其它需求。

发明内容

本公开的某些实施例一般而言涉及数据存储的系统和方法，并且更具体地涉及用于在对象接口上将文件系统功能分层的系统和方法。

本文描述了各种技术(例如，系统、方法、在非瞬态机器可读存储介质中有形地实施的计算机程序产品等)，用于在对象接口上提供文件系统功能的分层。在某些实施例中，文件系统功能可以在云对象接口上分层以提供基于云的存储，同时允许遗留应用预期的功能。例如，可移植操作系统接口(POSIX)接口和语义可以在基于云的存储上分层，同时以与对名称层次结构(name hierarchy)中的数据组织的基于文件的访问一致的方式提供对数据的访问。各种实施例还可以提供数据的存储器映射，使得存储器映射改变被反映在持久存储装置中，同时确保存储器映射改变和写入之间的一致性。例如，通过将ZFS文件系统基于盘的存储转换成ZFS基于云的存储，ZFS文件系统获得了云存储的弹性。