[发明专利]分布式文件系统中的分层存储

说明书

文件服务器从用户设备接收对数据的请求。数据在文件服务器处由虚拟集群描述符来表示。文件服务器使用虚拟集群描述符的标识符来查询标识符映射。响应于标识符映射指示所请求的数据被存储在远离文件服务器的位置，文件服务器访问冷层转换表，冷层转换表存储多个虚拟集群描述符中的每个虚拟集群描述符的标识符与关联于相应虚拟集群描述符的数据的存储位置之间的映射。使用虚拟集群描述符的标识符来查询冷层转换表以标识所请求的数据的存储位置，并且将数据从所标识的存储位置加载到文件服务器。

相关申请的交叉引用

本申请要求于2018年8月16日提交的美国专利申请第16/xxx,xxx号和于2017年8月16日提交的美国专利申请第62/546,272号的权益，其全部内容通过引用并入本文。

技术领域

公开的各种实施例涉及分布式文件系统，并且更具体地涉及分布式文件系统中的分层存储。

背景技术

企业正在寻找能够满足低成本存储(通常在外部位置)同时保持高速数据访问的矛盾要求的解决方案。他们还希望拥有几乎无限的存储容量。使用当前方法，用户通常必须购买效率低下且昂贵的第三方产品(诸如云网关)并且引入了管理和应用复杂性。

在尝试将冷数据传输到冷存储层时，现代大数据系统中还存在一些其他附加考虑，其中“冷”或“冻”数据是很少访问的数据。很多低成本对象存储库(诸如亚马逊S3或Azure对象存储库)的一个特定方面是，优选使对象存储库中的对象相对较大(10MB或更大)。可以存储小得多的对象，但是存储效率、性能和成本考虑使得使用较大对象的设计更为优选。

例如，在现代大数据系统中，可能存在大量文件。例如，这些系统中的一些拥有超过1万亿个文件，文件创建速度超过每天20亿，并且预期这些数字只会继续增长。在具有大量文件的系统中，平均文件大小和中值文件大小必须比写入冷层存储的期望数据单位小得多。例如，具有1PB存储和一万亿个文件的系统，平均文件大小为1018/1012＝1MB，远低于期望的对象大小。而且，很多数量很大的文件系统的总大小都非常小于拍字节，并且平均文件大小约为100kB。亚马逊的S3到2014年为止在所有用户中总共只有2万亿个对象。由于交易成本，仅向S3中写入一万亿个对象就需要50万美元。对于100kB的对象，仅上传成本就相当于两个月的存储费。小于128kB的对象的成本也与大小为128kB的对象相同。这些成本结构反映了底层对象存储的效率，并且是亚马逊鼓励用户拥有更大对象的方式。

除了诸如消息流和键值表等传统文件，数据类型也进一步加剧了云存储效率低下的问题。消息流的一个重要特征是，流通常是一个寿命很长的对象(几年的寿命不是很合理)，但是通常在整个生命周期中都对流进行更新和访问。为了节省空间，可能期望文件服务器将部分流卸载到第三方云服务，但是部分流可能保持活动状态并且因此被文件服务器进程频繁访问。这通常表示，一次只能将一小部分附加消息流发送到冷层，而大多数对象仍然被存储在文件服务器处。

对于将冷数据存储在云服务中的任何系统，安全性也是一个关键要求。

附图说明

在附图的各图中以示例而非限制的方式示出了本公开的一个或多个实施例，其中相似的附图标记指示相似的元素。

图1A是示出根据一个实施例的用于实现分层文件存储系统的环境的框图。

图1B是示出文件系统中的数据的逻辑组织的示意图。

图2A示出了大量数据的快照的示例。

图2B是示出用于将数据卸载到冷层的过程的框图。

图3是示出根据一个实施例的分层文件系统中的读取操作中的元素和通信路径的框图。

图4是示出根据一个实施例的分层文件系统中的写入操作中的元素和通信路径的框图。