[发明专利]一种分布式存储系统的数据布局方法

说明书

本发明公开一种分布式存储系统的数据布局方法，包括：创建逻辑存储空间，创建多个虚拟域，在所述多个虚拟域的每一个中设置多个虚拟节点，创建多个物理存储节点，对于所述多个虚拟域的每一个，将其中的多个虚拟节点的每一个映射到相应的物理存储节点。

技术领域

本发明涉及数据存储技术，并且尤其涉及分布式存储系统的数据布局方法。

背景技术

现有技术中存在多种数据布局（即实现数据从逻辑空间到物理存储空间的映射）方案。其中一种方案（例如，HDFS分布式文件系统）采用随机分布的方法实现数据布局。该方法根据每个存储节点的存储空间利用情况，随机选择空闲空间较多的存储节点，然后将文件写入该节点，并在控制节点的内存的映射表中记录该文件的存储节点地址，在读取文件时，根据文件名或ID号查找映射表，得到存储节点的地址，然后从该存储节点读取文件。然而该方法存在可扩展性问题，能够管理的最大文件数量将受内存容量限制，而且当文件数量达到上千万或亿级时，其文件查找操作也会成为性能瓶颈。

发明内容

本发明公开一种分布式存储系统的数据布局方法，包括：

创建逻辑存储空间，

创建多个虚拟域，在所述多个虚拟域的每一个中设置多个虚拟节点，

创建多个物理存储节点，

对于所述多个虚拟域的每一个，将其中的多个虚拟节点的每一个映射到相应的物理存储节点。

优选地，每一个虚拟域具有相同数量的虚拟节点，

每一个虚拟域的所有虚拟节点被标记，使得不同虚拟域之间具有相同标记的虚拟节点，

所述映射使得所述多个虚拟域的具有相同标记虚拟节点被映射到不同的物理存储节点。

优选地，每一个虚拟域的所有虚拟节点根据虚拟节点的数量按序被标记。

优选地，向所述逻辑存储空间写入文件包括：

根据所述文件产生哈希值，

将该哈希值映射到第一虚拟域的第一虚拟节点，

根据设置的文件副本数量，将该文件分别写入多个物理存储节点，所述多个物理存储节点分别对应于包括所述第一虚拟节点的多个虚拟节点，所述多个虚拟节点具有相同的标记。

本发明的方法具有良好的可扩展性，可适用于EB级存储系统。本发明能够根据数据的可靠性要求设置不同的复制策略，并可动态修改复制策略，当调整复制策略时，不会产生额外的数据迁移。

附图说明

在参照附图阅读了本发明的具体实施方式以后，本领域技术人员将会更清楚地了解本发明的各个方面。本领域技术人员应当理解的是，这些附图仅仅用于配合具体实施方式说明本发明的技术方案，而并非意在对本发明的保护范围构成限制。

图1是根据本发明实施例的分布式存储系统的数据布局方法的示意图。

图2是根据本发明实施例的分布式存储系统的数据布局方法的一个实例。

具体实施方式

图1是根据本发明实施例的分布式存储系统的数据布局方法的示意图。

如图1所示，在101中，创建逻辑存储空间，用户通过逻辑存储空间写入和读取数据。在一个示例中，可以为创建的一个或多个逻辑存储空间根据数据的可靠性要求设置相应的数据副本数量，使得当在该逻辑存储空间写入数据时，在该数量的物理存储节点上分别写入数据副本。