[发明专利]一种元数据集群扩容的方法和系统

说明书

本申请提供了一种元数据集群扩容的方法，包括当检测到元数据节点增加时，停止集群压力；将增加前所有元数据节点上的分片文件迁移至增加后的一个设定元数据节点；根据增加后元数据节点的数量进行文件拆分，将拆分后的分片文件对应迁移至增加后的各个元数据节点中。在元数据集群扩容中，在元数据节点增加后，对原有分片文件集合到一个元数据节点再根据增加后的元数据节点数量再次进行拆分，实现集群的负载平衡，提升新增加的元数据节点上的初始负载水平，进而提升整个分布式文件系统的性能。本申请还提供了一种元数据集群扩容的系统，具有上述有益效果，此处不再赘述。

技术领域

本申请涉及分布式文件系统领域，特别涉及一种元数据集群扩容的方法和系统。

背景技术

现有分布式文件系统主要分为两大部分：元数据管理、数据管理。其中，元数据的请求是文件系统所有请求的50％以上，所以提升元数据请求的处理性能，可以有效提升整个分布式文件系统的性能。

在多个元数据节点的系统里，每个元数据节点都有自己负责的目录结构，新建的子目录属于父目录所述的元数据节点负载。如果某个元数据下面的目录内容访问量加大，构成热点数据，此元数据节点负载压力将增加，形成热点元数据节点。为了解决这个问题，现在有种办法是细化最小拆分单位且自动分配最小拆分单位所属元数据节点。

在实际应用中，客户可能对元数据节点需要后期扩容。之前拆分的机制使得旧元数据集群的各节点负载相对均衡，但这会导致新加入的元数据节点上负载压力太小，降低了整个分布式文件系统的性能。

发明内容

本申请的目的是提供一种元数据集群扩容的方法和系统，能够使扩容后的元数据集群达成负载平衡，提成整个分布式文件系统的性能。

为解决上述技术问题，本申请提供一种元数据集群扩容的方法，包括：

当检测到元数据节点增加时，停止集群压力；

将增加前所有元数据节点上的分片文件迁移至增加后的一个设定元数据节点；

根据增加后元数据节点的数量进行文件拆分，将拆分后的分片文件对应迁移至增加后的各个元数据节点中。

其中，所述将增加前所有元数据节点上的分片文件迁移至增加后的一个设定元数据节点，包括：

将增加前所有元数据节点上的分片文件迁移至增加后的一个设定元数据节点，在所述设定元数据节点上将所有所述分片文件合并成单目录文件。

其中，所述根据增加后元数据节点的数量进行文件拆分，将拆分后的分片文件迁移至增加后的各个元数据节点中包括：

根据增加后元数据节点的数量对所述单目录文件进行文件拆分，记录拆分后的所述分片文件与增加后的各个元数据节点的对应关系；

根据所述对应关系迁移所述拆分后的分片文件至增加后的各个元数据节点中。

其中，所述设定元数据节点为增加前的元数据节点。

其中，所述根据增加后元数据节点的数量进行文件拆分，将拆分后的分片文件迁移至增加后的各个元数据节点中包括：

根据所述增加后元数据节点的数量，按照相对平均原则进行文件拆分，将拆分后的分片文件迁移至所述增加后的各个元数据节点中。

本申请还提供一种元数据集群扩容的系统，包括：

扩容准备模块，用于当检测到元数据节点增加时，停止集群压力；

文件迁移模块，用于将增加前所有元数据节点上的分片文件迁移至增加后的一个设定元数据节点；

文件拆分模块，用于根据增加后元数据节点的数量进行文件拆分，将拆分后的分片文件对应迁移至增加后的各个元数据节点中。