[发明专利]分布式数据集存储和检索

权利要求书

1.一种用于分布式数据集存储和检索的装置，包括处理器组件和存储指令的存储装置，所述指令当由处理器组件执行时使得处理器组件执行操作，所述操作包括：

通过网络从一个或多个存储设备检索指示数据集内的数据的组织的元数据以及指示由一个或多个存储设备所维持的数据文件内的多个数据块的组织的映射数据，其中：

映射数据包括多个映射条目；和

所述多个映射条目中的每个映射条目对应于所述多个数据块中的一个或多个数据块；

从多个节点设备接收所述多个节点设备中的哪些节点设备是各自能够利用一个或多个数据集部分中的至少一个数据集部分执行处理任务的可用节点设备的指示；和

响应于数据集包括分区数据的元数据或映射数据内的指示，其中数据集内的数据被组织到每个可分布到单个节点设备的多个分区中，并且每个映射条目对应于单个数据块：

基于哪些节点设备是可用节点设备的指示来确定可用节点设备的第一数量；

从元数据或映射数据检索在数据文件内的数据集的存储中最后涉及到的节点设备的第二数量；

比较节点设备的第一和第二数量以检测第一和第二数量之间的匹配；

向可用节点设备中的每一个分配一系列正整数值中的一个作为指定值，其中所述系列从整数值0延伸至等于第一数量减去整数值1的正整数值；和

响应于检测到第一和第二数量之间的匹配，针对映射数据的每个映射条目：

从映射条目检索在映射条目中被指示为在对应数据块内的一个数据子块的散列化标识符以及在映射条目中被指示为在对应数据块内的每个数据子块的数据子块大小，其中：

散列化标识符从多个分区中的分区的分区标签导出；和

数据子块包括一个或多个数据集部分中的数据集部分；

确定数据文件内的对应数据块的位置；

将散列化标识符除以第一数量以获得模值；

将模值与分配给每个可用节点设备的指定值进行比较，以标识被分配了与模值匹配的指定值的可用节点设备；和

向被分配了与模值匹配的指定值的可用节点设备提供指针，所述指针包括：

对应数据块的位置的指示；和

对应数据块内的所有数据子块的数据子块大小的总和。

2.根据权利要求1所述的装置，其中，响应于数据集包括分区数据的指示并且响应于检测到第一和第二数量之间的匹配的不存在，使得所述处理器组件执行操作，所述操作包括：

针对对应数据块内的数据子块的每个映射条目内的每个指示：

从映射条目检索数据子块大小和数据子块的散列化标识符；

确定数据文件内的数据子块的位置；

将散列化标识符除以第一数量以获得模值；

将模值与分配给每个可用节点设备的指定值进行比较，以标识被分配了与模值匹配的指定值的可用节点设备；和

向被分配了与模值匹配的指定值的可用节点设备提供指针，所述指针包括：

数据子块的位置的指示；和

数据子块大小。

3.根据权利要求1所述的装置，其中，使得所述处理器组件执行操作，所述操作包括：

响应于数据集不包括分区数据的元数据或映射数据内的指示，针对映射数据的每个映射条目：

从映射条目检索数据块大小和数据块数量，其中所述数据块数量指示对应于所述映射条目的所述数据文件中的相邻数据块的数量；和

针对对应于所述映射条目的每个数据块：

确定数据文件内的对应数据块的位置；

选择可用节点设备中的一个；和

向可用节点设备中的所选择一个提供指针，所述指针包括：

对应数据块的位置的指示；和

数据块大小。

4.根据权利要求3所述的装置，其中，对可用节点设备中的一个的选择包括对可用节点设备中的一个的轮询选择。

5.根据权利要求1所述的装置，其中，所述装置包括可用节点设备中的一个。

6.根据权利要求5所述的装置，其中，所述处理器组件作为可用节点设备中的所述一个与可用节点设备中的至少另外一个至少部分并行地利用从所述数据文件所检索的至少一个数据集部分执行处理任务。