[发明专利]分散HADOOP集群

权利要求书

1.一种分布式文件系统，该分布式文件系统包括：

多个数据节点，所述多个数据节点各自包括一个或更多个数据块；以及

导向器单元，该导向器单元包括多个主节点，所述多个主节点以对等分布式架构来进行构造并且与所述多个数据节点可操作地联接，所述多个主节点中的每一个主节点被构造为：

接收与针对所述分布式文件系统来管理数据相关的任务；

管理所述任务在所述多个主节点中的一个或更多个主节点当中的分发；以及

向其它多个主节点中的每一个主节点传送任务状态以及所述分布式文件系统的至少一部分的状态。

2.根据权利要求1所述的分布式文件系统，其中，每个主节点被构造为将所述任务划分成多个子任务，并且其中，分发所述任务包括在所述多个主节点中的一个或更多个主节点当中分发所述多个子任务，以及在所述多个数据节点中的所述一个或更多个数据节点执行所述子任务之后，收集所述子任务的结果。

3.根据权利要求1所述的分布式文件系统，所述分布式文件系统还包括与所述导向器单元联接的数据库，所述数据库被构造为将文件的文件元数据存储在所述分布式文件系统中。

4.根据权利要求3所述的分布式文件系统，其中，所述数据库还被构造为存储指示在所述分布式文件系统中将所述文件存储在所述多个数据节点中的哪个数据节点中的系统元数据。

5.根据权利要求1所述的分布式文件系统，其中，所述任务包括向所述分布式文件系统写入第一文件、访问所述分布式文件系统中的第二文件、处理所述分布式文件系统中的数据、改变所述分布式文件系统中的第三文件的名称、删除所述分布式文件系统中的第四文件、或者向所述多个主节点中的另一主节点传送计算任务。

6.根据权利要求1所述的分布式文件系统，其中，当所述任务包括访问文件时，所述多个主节点中的每一个主节点被构造为：

接收包括识别所述文件的文件元数据的任务；

尝试基于所述文件元数据来查找所述文件；

当没有找到所述文件时，将所述任务分发给所述多个主节点中的另一主节点；以及

当找到所述文件时，发送指示所述文件的位置的系统元数据并且发送成功消息。

7.根据权利要求6所述的分布式文件系统，其中，当所述多个主节点中的任何主节点都没有找到所述文件时，所述多个主节点中的每一个主节点还被构造为发送空消息。

8.根据权利要求1所述的分布式文件系统，其中，当所述任务包括写入文件时，所述多个主节点中的每一个主节点被构造为：

接收识别要在所述分布式文件系统中写入的所述文件的文件元数据；

尝试基于所述文件元数据来查找所述文件；

当没有找到所述文件时，将所述文件元数据分发给所述多个主节点中的另一主节点；以及

当所述多个主节点中的任何主节点都没有找到所述文件时，打开写入流程。

9.根据权利要求1所述的分布式文件系统，其中，当所述任务包括计算任务时，从所述多个主节点中选择来自所述多个主节点的第一主节点；以及

所述多个主节点的其它主节点中的每一个其它主节点被构造为：

从所述第一主节点接收所述计算任务；

通过在本地执行所述计算任务来获得主节点特定结果；

确定所述多个主节点中的一部分主节点是否已经接收到所述计算任务；

当所述一部分主节点尚未接收到所述计算任务时，将所述主节点特定结果和所述计算任务发送到所述多个主节点中的第二主节点；以及

当所述一部分主节点已经接收到所述计算任务时，将所述主节点特定结果发送到所述第一主节点。

10.根据权利要求9所述的分布式文件系统，其中，所述多个主节点中的每一个主节点还被构造为：

从所述多个主节点中的其它主节点接收其它主节点特定结果；

将所述主节点特定结果与所述其它主节点特定结果进行组合；

当所述一部分主节点已经接收到所述计算任务时，将所述主节点特定结果与所述其它主节点特定结果的组合发送到所述第二主节点；以及

当所述一部分主节点尚未接收到所述计算任务时，将所述主节点特定结果与所述其它主节点特定结果的组合发送到所述第一主节点。