[发明专利]可缩放的容错元数据服务

说明书

背景技术

元数据常常被描述为“关于数据的数据”。元数据可以采取各种形式，其范围从简单到复杂。在一个简单的示例中，计算机文件与元数据相关联，其可包括文件的名称和类型、创建和最近修改的日期、访问许可等等。在更复杂的示例中，数据遵循复杂多层的结构，其中，元数据可以包括定义数据的结构的模式。

看待元数据的一种方式是它仅仅是一种数据。然而，在实践中，对元数据的管理提出了与对与该元数据相关的底层数据的管理稍微不同的问题。元数据可能比底层数据被更频繁地访问。此外，元数据的访问失败可以被视为相比普通数据的访问失败更不能接受。

发明内容

可以通过考虑应用于元数据的可靠性以及吞吐量约束的系统来管理元数据。此外，该系统可以是可缩放的，以便满足涉及要存储的元数据的量以及使用元数据的速率的任意条件。

元数据可以被划分成各个分区。每个分区被分配给节点或节点的集合。每个节点是对针对元数据的访问请求进行响应的服务器。对分区进行服务的节点可以包括主节点且可任选地包括一个或多个次节点。主节点维持该分区的当前真实版本。次节点包含该分区的副本。读元数据的请求也可以被定向至主节点。读元数据的请求也可以被定向至主节点。然而，如果对系统的要求使得使用附加节点来对元数据请求进行服务是有意义的，则某些读请求可以被定向至次节点，从而减轻主节点的一些压力。

分区本身可以被以使得这些分区中的每一个上的负载大致相等的方式来划分。在一个示例中，平衡负载意味着各分区包含大致相等量的元数据。然而，对不同类型的元数据的要求可以是不同的，以便使得可以通过将少量高要求元数据分配到一个分区并将大量低要求元数据分配到另一个分区来平衡跨各分区的负载。本文的主题允许动态的负载平衡，这取决于元数据正在被如何使用。

当实体提交访问元数据的请求时，该实体将该请求提交到元数据服务器。然后，该元数据服务器标识发起请求的实体向其提交该请求的适当节点。通常，向其提交请求的节点是分区的处理所请求的元数据的主节点，但在某些情形中该节点可以是次节点之一。然后，发起请求的实体从由元数据服务器标识的节点请求元数据。

分区中的元数据可以通过基于日志的复制协议来更新。在这样的协议中，对元数据的当前状态的任何改变(即，增加新元数据记录的写或修改现有元数据记录的写)被定向至负责分区的主节点。在对主节点进行写之后的某一时刻，该主节点将该写发送给次节点，以使得次节点将会具有该新信息。然而，次节点可以继续提供旧信息，直到新信息已经被提交为止。各节点中的每一个维持一个日志，其中日志的末尾指示哪个是当前版本的任何数据。当主节点提交该新数据时，它将该提交输入到其日志中。然后，主节点通知次节点，次节点通过将该提交输入它们各自的日志中来提交该数据。然后，主节点和次节点开始提供新数据而不是旧数据。

提供本发明内容是为了以简化的形式介绍将在以下详细描述中进一步描述的一些概念。本发明内容并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于限定所要求保护的主题的范围。

附图说明

图1是可以对关于元数据的请求进行响应的示例系统的框图。

图2是其中可以将元数据存储在元数据系统中的示例过程的流程图。

图3是示例的基于日志的复制方案的框图。

图4是访问元数据的示例过程的流程图。

图5是其中使用元数据来构建索引的示例场景的框图。

图6是实现可以在为一分区进行服务的各节点之间划分工作的一种示例方式的过程的流程图。

图7是在节点故障的情况下为分区获取新节点的示例过程的框图。

图8是分割分区以适应该分区的增长的示例过程的框图。

图9是可以结合本文描述的主题的实现来使用的示例组件的框图。

具体实施方式

元数据通常被描述为“关于数据的数据”。存在各种类型的元数据。例如，在计算机文件系统中，每个文件与指示该文件的名称和类型、创建日期、最后修改日期、访问许可等等的元数据关联。关于文件的这一类型的信息是相对简单类型的元数据。其他类型的元数据更为复杂。例如，数据可以被组织成多层结构，其中该结构由模式来描述。当数据被以此方式组织时，该数据仅可以在元数据的帮助下来解释。因此，使用这种类型的复杂的结构化数据的系统通常访问元数据以解释该元数据所描述的底层数据。