[发明专利]一种分布式系统中元数据均衡方法及分布式系统

说明书

本发明涉及计算机分布式文件系统领域，尤其涉及一种分布式系统中元数据均衡方法及分布式系统。一种分布式系统中元数据均衡方法，对比元数据分布最多的元数据服务器守护进程(MDS)中元数据数量值X与元数据分布平均值Y的差；当X与Y的差值超过预设范围A时，减小元数据分布最多的MDS的权重。一种分布式系统，包括：用于对比元数据分布最多的MDS中元数据数量值与元数据分布平均值的差的逻辑模块，用于根据逻辑模块的对比结果改变MDS的权重的执行模块。

技术领域

本发明涉及计算机分布式文件系统领域，尤其涉及一种分布式系统中元数据均衡方法及分布式系统。

背景技术

随着互联网业务量的增加、访问量和元数据流量的快速增长，分布式系统各个核心部分的处理强度也相对增大，使系统工作负载增大。在ceph系统中采用一致性CRUSH算法用于元数据分布的计算，在这个过程中，CRUSH算法将元数据映射到一组MDS(元数据服务器守护进程)中，通过元数据来划分元数据分区使每个元数据管理的元数据区间相同，从而保证元数据能够均匀的分布。

但是，在实际应用环境中，MDS做为分布式系统所有元数据管理节点，元数据在按照CRUSH算法进行分布时，由于其采用随机形式分布，因此可能会造成有些MDS上分布的METADATE数量较多，有些MDS分布的METADATE数量较少的情况。而当元数据分布不均衡时则会造成部分节点过早出现过载，在MDS未被完全使用时即开始出现系统报警。

发明内容

针对现有技术的上述不足，本发明提供一种分布式系统中元数据均衡方法及分布式系统，可以通过均衡元数据分布来提高MDS节点使用率。

本发明提供方案如下：

一种分布式系统中元数据均衡方法，对比元数据分布最多的元数据服务器守护进程(MDS)中元数据数量值X与元数据分布平均值Y的差；

当X与Y的差值超过预设范围A时，减小元数据分布最多的MDS的权重。

优选的，所述元数据分布平均值为元数据总数量与MDS的比值。

优选的，所述元数据纵梁根据分布式池元数据冗余策略与系统MDS个数得到。

优选的，所述分布式池为预先创建的分布式系统分布式池。

优选的，所述范围A不大于110％且不小于102％。

一种分布式系统，包括：

逻辑模块，用于对比元数据分布最多的MDS中元数据数量值与元数据分布平均值的差；

执行模块，用于根据逻辑模块的对比结果改变MDS的权重。

优选的，还包括选择模块，用于选择元数据分布最多的MDS。

优选的，还包括计算模块，用于计算元数据分布平均值。

优选的，还包括分布式池，所述元数据位于分布式池中。

本发明通过对比元数据分布最多的MDS中元数据数量值X与元数据分布平均值Y的差，来判断个别MDS中分布的元数据数量是否超出平均值太多，并通过降低该MDS权重的方式来避免系统继续为该MDS分配元数据，从而使得系统中元数据的分布趋向均衡，MDS节点的整体利用率也相应得到提高。

CRUSH算法会根据MDSMap中每个MDS的权重进行元数据的分配。算法本身具有很强的随机性，因此虽然各个MDS的权重都是初始值1，但元数据分布并不真正均衡，元数据分布最多的MDS，有可能超过元数据分布平均值(元数据总数/MDS数)的110％。权重减小能够降低MDS被元数据选中的概率。因此在分布式池初创建时，将元数据数量较多的MDS的权重降低，部分元数据会重新分布到其余MDS上。如此进行多次均衡后，系统即可达到真正的均衡。最终目标是MDS上元数据数最多不超过元数据分布平均值的105％。