[发明专利]负载平衡分配式存储系统中的元数据控制

说明书

多个计算装置经由网络可通信地彼此耦接，并且多个计算装置中的每一个可操作地耦接到多个存储装置中的一个或多个。多个故障弹性地址空间跨过多个存储装置被分配，使得多个故障弹性地址空间中的每一个跨越多个存储装置。多个计算装置保持将每个故障弹性地址空间映射到多个计算装置中的一个的元数据。元数据经分组为桶。每个桶存储在一组计算装置中。然而，在任何给定时间，只有该组的领导者能够直接访问特定桶。

背景技术

通过将这些方法与参考附图在本公开的其余部分中阐述的本方法和系统的一些方面进行比较，传统的数据存储的方法的限制和缺点对于本领域技术人员将变得显而易见。

通过引用合并

在此通过引用将标题为“分配式擦除编码虚拟文件系统”的美国专利申请No.15/243,519并入全文。

发明内容

本公开提供了用于负载平衡分配式存储系统中的元数据控制的方法和系统，基本上如结合至少一个附图所示和/或所述的，如权利要求中更完整地阐述的。

附图说明

图1示出了根据本公开的各方面的虚拟文件系统的各种示例配置。

图2示出了根据本公开的各方面的虚拟文件系统节点的示例配置。

图3示出了根据本公开的示例实现方式的虚拟文件系统的另一表示。

图4示出了根据本公开的示例实现方式的在添加VFS之后在负载平衡分配式存储系统中的元数据桶控制的示例。

图5示出了根据本公开的示例实现方式的在负载平衡分配式存储系统中划分元数据桶的示例。

图6示出了根据本公开的示例实现方式的VFS故障之后负载平衡分配式存储系统中的元数据控制的示例。

图7是示出用于负载平衡分配式存储系统中的元数据控制的示例方法的流程图。

具体实施方式

一般来说，文件系统使用对元数据结构(例如目录、文件、属性、文件内容)的集中控制。如果可从单个服务器访问本地文件系统并且该服务器发生故障，由于没有进一步的保护，文件系统的数据则可能会丢失。为了增加保护，一些文件系统(例如，由NetApp提供的)已经以主动-被动方式使用一对或多对控制器来在两个或多个计算机上复制元数据。其他解决方案以集群方式使用了多个元数据服务器(例如，由IBM GPFS、Dell EMC Isilon、Lustre等提供)。然而，由于传统集群系统中的元数据服务器的数量仅限于较小的数量，所以这样的系统不能扩展。

本公开中的系统适用于小型集群，并且还可以扩展到许多、成千上万个节点。讨论了关于非易失性存储器(NVM)，例如以固态驱动器(SSD)形式出现的闪存的示例实施例。NVM可以经划分为4kB“区块”和128MB“组块”。“盘区”可以存储在易失性存储器中，例如用于快速访问的RAM，也可以由NVM存储器备份。盘区可以存储区块的指针，例如，指向存储在区块中的1MB数据的256个指针。在其他实施例中，也可以使用更大或更小的存储器进行划分。本公开中的元数据功能可有效地分配在许多服务器上。例如，在大负载以文件系统命名空间的特定部分为目标的“热点”的情况下，该负载可以分配在多个节点上。

图1示出了根据本公开的各方面的虚拟文件系统(VFS)的各种示例配置。图1中示出了局域网(LAN)102，其包括一个或多个VFS节点120(由从1到J的整数索引，j≥1)，并且可选地包括(由虚线指示)：一个或多个专用存储节点106(由从1到M的整数索引，M≥1)、一个或多个计算节点104(由从1到N的整数索引，N≥1)，和/或将LAN102连接到远程网络118的边缘路由器。远程网络118可选地包括一个或多个存储服务114(由从1到K的整数索引，K≥1)，和/或一个或多个专用存储节点115(由从1到L的整数索引，L≥1)。