[发明专利]一种便于存储节点数量扩增的并行存储系统构造方法

说明书

技术领域

本发明涉及计算机应用技术领域，提供了一种便于存储节点数量扩增的并行存储系统构造方法。

背景技术

并行存储系统常面临增加新的存储节点以满足应用对存储空间和存储带宽方面不断增长的需求。然而现有并行存储系统多以轮转的数据分布方式存储数据，数据被按照一定大小分割为数据块并从零开始顺序编号，数据块根据其编号以取模函数的计算结果来确定其所存储的节点和节点内的顺序号。这种方式下，当需要新增存储节点后，必须进行数据重均衡操作以保持存储节点间存储容量均衡，同时也保证取模函数在节点数目改变前后的一致性。然而，由于取模函数的性质，当新增存储节点后的节点数目与原有节点数目互质时，几乎需要移动系统内所有的数据块，而且大多数数据块是在原有存储节点之间移动，这种移动对于新系统内节点间的容量均衡来说是无效的移动。这种无效的移动是为了保证取模函数的一致性，但是对于拥有大数据量的并行存储系统来说，重均衡操作则会因为移动大量数据而耗用大量的CPU处理能力和带宽，而且会造成较长时间的系统服务停顿。

针对这种情况，一些并行存储系统要求新增存储节点数目为原有节点数目的倍数关系，这样可以消除无效的数据块移动，但是对于较大型的并行存储系统，由于存储节点数目本身较大，以倍数方式增加新节点，会导致系统扩展的成本巨大，同时也丧失了系统扩展的灵活性，不能十分契合用户的需求。

在其他领域，某些研究针对数据/对象分布方式进行研究，如web cache中应用Consistent Hashing可以实现节点数据量变化时的零无效移动率，但其实现方式是基于不可控的哈希函数，存储节点间只能做到概率上的容量均衡，且其数据并行度很低。

因此，在并行存储系统中，寻找新型的数据分布方式时，新方式应该兼顾零无效数据块移动、存储节点间存储容量均衡、并行度高的目标，使得系统更便于节点扩增，减少服务停顿，从而提高系统的可用性。

发明内容

本发明的目的在于克服上述现有技术不足，提供一种便于存储节点数量扩增的并行存储系统构造方法，该方法缩短了重均衡操作的时间，提高了重均衡的效率，从而提高了系统的可用性。

本发明的技术方案是这样实现的：便于存储节点数量扩增的并行存储系统构造方法，对于拟存储在并行存储系统中的数据，将其进行分块并从零开始顺序编号，根据数据块的编号及当前系统的存储节点数目，通过使用按序选取的数据分布方式，可以得到数据块应该存放的存储节点编号以及数据块在该存储节点内的顺序号。

所述的并行存储系统是由多个存储节点组成，存储节点从零开始顺序编号并通过网络互连，数据分块存储在多个存储节点之上。

所述按序选取的数据分布方式是指在一个存储节点数目为N的并行存储系统中，数据块编号到存储节点编号和节点内顺序号的映射过程，该映射过程是模拟存储节点数从1增加到N的N-1次数据均衡的过程，且每次只增加1个存储节点，增加的这个存储节点的编号设定为当前存储节点的数目减1，则一个数据块的最终存储位置为该数据块经过N-1次数据重均衡操作后被移动到的存储节点的编号及在该节点内的顺序号。

所述的数据块在存储节点内的顺序号表征的是该数据块在经过数据分布后，在某个存储节点上的存储位置编号，作为该数据块在某个存储节点上相对于存储起始位置的偏移量，当并行存储系统的存储节点数为1时，数据块按照其编号在存储节点上从小到大顺序排列，此时数据块的编号与其在该存储节点内的顺序号相同。

所述的数据重均衡过程是指一个具有N个存储节点的并行存储系统，新增加1个存储节点后，在原有N个存储节点上，采用间隔抽取方式选择相应的数据块移动到新增存储节点上，按照数据块的编号从小到大排序生成其在新存储节点内的顺序号，保留在原N个存储节点上的数据块则重新按照编号从小到大排序生成新的顺序号，使得原存储节点内数据块顺序号连续。

间隔抽取方式是指当存储节点数目为N，新增一个存储节点时，在原有每个存储节点上，每间隔N个数据块选择一个数据块，作为将被移动到新增节点上的备选数据块，间隔小于N则不进行抽取。

本发明在采用按序选取的数据分布方式构造并行存储系统时，当系统增加存储节点时，在存储节点间的数据块移动量能够达到最小，所以与采用其他的数据分布方式构造的并行存储系统相比，缩短了重均衡操作的时间，减少了系统资源消耗。并行存储系统采用按序选取的数据分布方式，在系统增加新的存储节点时，可在最少的时间内完成数据重均衡操作，并保证数据访问的并行度，可以有效减少并行存储系统服务停顿时间，增强其可用性。

附图说明

图1所示是本发明应用按序选取方式的并行存储系统图；