[发明专利]分散HADOOP集群

说明书

背景技术

除非在本文中另外说明，否则本文中描述的材料不是针对本申请中的权利要求的现有技术，并且不应认为包括在本部分中即为现有技术。

可以将计算机系统构造为分布式文件系统。一般来说，分布式文件系统可以使得能够从多个主机访问存储在这些分布式文件系统中的文件。主机可以被远程地定位，并且可以经由例如计算机网络与分布式文件系统通信地联接。对文件的访问可以使得客户端能够读取或修改存在于分布式文件系统中的文件和/或使得客户端能够向分布式文件系统添加新文件。分布式文件系统可以通过复制文件来提供一些优势(诸如可靠性)。通过具有文件的多个副本，即使分布式文件系统的某些部分被损坏，用户也可以访问这些文件。

计算机集群通常包括被构造为一起操作的一组连接节点。作为连接成集群的结果，可以将节点视为单个单元并且作为单个单元来操作。可以通过例如计算机网络来连接节点。

包括计算机集群的一种类型的分布式文件系统是Hadoop分布式文件系统。Hadoop分布式文件系统可以包括单个主节点(该单个主节点可以被称为名称节点)以及工作节点的集群。主节点可以操作以协调对文件的访问。工作节点可以存储文件和/或执行与访问和/或修改存储在Hadoop分布式文件系统中的文件相关的各种动作。

发明内容

本文中所描述的技术总体上涉及分布式文件系统中的数据管理。

在一些示例中，描述了一种分布式文件系统。该分布式文件系统可以包括多个数据节点以及导向器(director)单元。所述多个数据节点可以各自包括一个或更多个数据块。所述导向器单元可以包括以对等分布式架构来进行构造的多个主节点，并且可以与所述多个数据节点可操作地联接。所述多个主节点中的每一个主节点可以被构造为：接收与针对所述分布式文件系统来管理数据相关的任务；管理所述任务在所述多个主节点中的一个或更多个主节点当中的分发；以及向其它主节点中的每一个其它主节点传送任务状态以及所述分布式文件系统的至少一部分的状态。

在一些示例中，描述了一种管理分布式文件系统的方法。该方法可以包括以下操作：接收与针对所述分布式文件系统来管理数据相关的任务。所述方法还可以包括以下操作：从多个主节点中选择一个或更多个主节点来管理所述任务。所述多个主节点可以以对等分布式架构来进行构造，并且与多个数据节点可操作地联接。所述方法还可以包括以下操作：管理所述任务在所述多个数据节点中的一个或更多个数据节点当中的分发。可以由所选择的主节点来执行管理所述任务的所述分发的操作。此外，所述方法还可以包括以下操作：在所述多个主节点中的至少一些主节点当中传送任务状态以及所述分布式文件系统的至少一部分的状态。

前述概要仅是说明性的，并且不旨在以任何方式进行限制。除了上述说明性方面、实施方式和特征之外，另外的方面、实施方式和特征还将参照附图和以下详细描述而变得显而易见。

附图说明

在附图中：

图1是示例分布式文件系统的框图；

图2是管理分布式文件系统的示例方法的流程图；以及

图3是例示了根据本文中所描述的至少一些实施方式全部布置的、被布置为用于管理分布式文件系统的示例主节点的框图。

具体实施方式

在以下详细描述中，参照附图，附图形成所述详细描述的一部分。在附图中，除非上下文另外规定，否则相似的符号通常标识相似的组件。在详细的说明书、附图以及权利要求中描述的说明性实施方式不意指进行限制。在不脱离本文中所提出的主题的精神或范围的情况下，可以利用其它实施方式，并且可以做出其它改变。将容易理解的是，如在本文中总体上描述的以及在图中例示的，可以以各种不同的构造来布置、替换、组合、分离和设计本发明的方面，这些构造全部都在本文中明确地考虑到。

本文中描述的一些实施方式总体上涉及分布式文件系统。所述分布式文件系统可以包括与导向器单元可操作地联接的多个数据节点。所述多个数据节点可以各自包括一个或更多个数据块，在所述一个或更多个数据块上可以存储文件。导向器单元可以包括以对等分布式架构进行构造的多个主节点。通常，主节点管理对存储在数据块上的文件的访问。此外，主节点中的每一个主节点可以接收与针对分布式文件系统来管理数据相关的任务，可以管理任务在主节点当中的分发；并且可以向其它主节点中的每一个其它主节点传送任务状态以及分布式文件系统的至少一部分的状态。