[发明专利]压缩以及安全的端到端加密的ZFS云存储

摘要

本文描述的技术涉及数据存储的系统和方法，更具体而言，涉及在对象接口上提供文件系统功能的分层。在某些实施例中，文件系统功能可以在云对象接口上分层以提供基于云的存储，同时允许从遗留应用预期的功能。例如，POSIX接口和语义可以在基于云的存储上分层，同时以与对名称层次结构中的数据组织的基于文件的访问一致的方式提供对数据的访问。各种实施例还可以提供数据的存储器映射，使得存储器映射改变被反映在持久存储装置中，同时确保存储器映射改变和写入之间的一致性。例如，通过将ZFS文件系统基于盘的存储变换成ZFS基于云的存储，ZFS文件系统获得了云存储的弹性。

主权项

1.一种变换远离ZFS系统的云对象存储库上的ZFS块的方法，所述方法包括：在所述ZFS系统的应用层处通过所述ZFS系统的接口层的系统调用接口接收用于存储或修改文件的第一请求，所述第一请求包括文件数据；在所述ZFS系统的事务对象层处生成多个数据块，所述多个数据块中的每个数据块与所述文件数据的至少一部分对应；在所述ZFS系统的所述应用层处通过所述ZFS系统的所述接口层的所述系统调用接口接收识别要对所述多个数据块执行的一个或多个变换动作的一个或多个通信，所述一个或多个变换动作包括以下各项中的一项或多项：用于压缩所述多个数据块中的每个数据块的压缩类型；以及用于加密所述多个数据块中的每个数据块的加密类型，其中与所述加密类型相关联的加密密钥是从所述ZFS系统本地检索的；通过对所述多个数据块中的每个数据块执行所述一个或多个变换动作，变换所述多个数据块中的每个数据块以形成多个经变换的块；在所述ZFS系统的所述事务对象层处生成与所述多个经变换的块对应的多个元数据块，所述多个元数据块被配置为分层地指向与所述文件相关联的较低级别块，从而与用于所述文件的树层次结构的至少一部分对应，其中：所述多个元数据块中的每个元数据块包括一个或多个地址指针，所述一个或多个地址指针中的每个地址指针被指向所述多个经变换的块中的经变换的块或指向所述多个元数据块中的元数据块；所述多个经变换的块中的每个经变换的块由所述多个元数据块中的至少一个元数据块指向；所述多个元数据块包括位于用于所述文件的所述树层次结构的顶部处的根块和一个或多个非根元数据块；并且所述多个元数据块中的每个非根元数据块由所述文件的所述树层次结构的所述多个元数据块中的至少一个元数据块指向；通过将所述多个经变换的块和所述多个元数据块发送到混合云存储系统，使得一组云存储对象被存储在所述云对象存储库中，所述混合云存储系统管理所述云对象存储库中的数据存储；向所述混合云存储系统发送对于一组地址的一个或多个第二请求，所述一组地址中的每个地址与所述多个经变换的块中的经变换的块或所述多个元数据块中的元数据块对应；以及从所述混合云存储系统接收对所述一个或多个第二请求的一个或多个响应，所述一个或多个响应中的每个响应识别与所述多个经变换的块中的经变换的块或所述多个元数据块中的元数据块对应的地址，所述地址识别所述云对象存储库中的存储位置。