[发明专利]分布式数据集存储和检索

摘要

装置包括处理器组件，使得所述处理器组件：检索数据集内的数据的组织的元数据以及数据文件内的数据块的组织的映射数据；接收哪些节点设备可用于利用数据集部分执行处理任务的指示；和响应于数据集包括分区数据，比较可用节点设备的数量和存储数据集中最后涉及到的节点设备的数量。响应于匹配，针对映射数据映射条目：检索用于数据子块的散列化标识符以及用于对应数据块内的每个数据子块的大小；将散列化标识符除以可用节点设备的数量；将模值与分配给每个可用节点设备的指定进行比较；和向分配了匹配指定的可用节点设备提供指针。

主权项

1.一种装置，包括处理器组件和存储指令的存储装置，所述指令当由处理器组件执行时使得处理器组件执行操作，所述操作包括：通过网络从一个或多个存储设备检索指示数据集内的数据的组织的元数据以及指示由一个或多个存储设备所维持的数据文件内的多个数据块的组织的映射数据，其中：映射数据包括多个映射条目；和所述多个映射条目中的每个映射条目对应于所述多个数据块中的一个或多个数据块；从多个节点设备接收所述多个节点设备中的哪些节点设备是各自能够利用一个或多个数据集部分中的至少一个数据集部分执行处理任务的可用节点设备的指示；和响应于数据集包括分区数据的元数据或映射数据内的指示，其中数据集内的数据被组织到每个可分布到单个节点设备的多个分区中，并且每个映射条目对应于单个数据块：基于哪些节点设备是可用节点设备的指示来确定可用节点设备的第一数量；从元数据或映射数据检索在数据文件内的数据集的存储中最后涉及到的节点设备的第二数量；比较节点设备的第一和第二数量以检测第一和第二数量之间的匹配；向可用节点设备中的每一个分配一系列正整数值中的一个作为指定值，其中所述系列从整数值0延伸至等于第一数量减去整数值1的正整数值；和响应于检测到第一和第二数量之间的匹配，针对映射数据的每个映射条目：从映射条目检索在映射条目中被指示为在对应数据块内的一个数据子块的散列化标识符以及在映射条目中被指示为在对应数据块内的每个数据子块的数据子块大小，其中：散列化标识符从多个分区中的分区的分区标签导出；和数据子块包括一个或多个数据集部分中的数据集部分；确定数据文件内的对应数据块的位置；将散列化标识符除以第一数量以获得模值；将模值与分配给每个可用节点设备的指定值进行比较，以标识被分配了与模值匹配的指定值的可用节点设备；和向被分配了与模值匹配的指定值的可用节点设备提供指针，所述指针包括：对应数据块的位置的指示；和对应数据块内的所有数据子块的数据子块大小的总和。