[发明专利]一种分布式文件系统的数据重构方法

说明书

本申请公开了一种分布式文件系统的数据重构方法、装置、服务器及可读存储介质，该方案能够在存储池超水位时对是否进行数据重构的决策策略进行更精细的控制，在实际过程中，首先确定并计算承载数据重构的OSD在数据重构发生后的水位，然后判断各个OSD的水位是否超过重构水位限制，当且仅当各个OSD的水位均不超过重构水位限制时，才执行数据重构。相较于传统方案以存储池水位为准决策是否执行数据重构的方式，该方案以承载数据重构的各个OSD的水位来决策是否进行数据重构，因此，该方案的控制粒度更精细，能使数据重构最大化利用磁盘空间，提升了数据重构性能。

技术领域

本申请涉及计算机技术领域，特别涉及一种分布式文件系统的数据重构方法、装置、服务器及可读存储介质。

背景技术

分布式文件系统中，OSD的主要功能是存储数据、复制数据、平衡数据、恢复数据等。一般情况下一块硬盘对应一个OSD，由OSD来对硬盘存储进行管理。当OSD挂载的硬盘故障时，需要对该OSD的数据进行恢复，故障的OSD中的数据在其他OSD中恢复出来的过程被称为数据重构。

当数据重构发生时，客户端对集群进行读写操作和数据重构会同时进行，为了减少数据重构对客户端读写性能的影响，可以对集群的数据重构速度进行调整。目前，已有方案通过调整集群的数据重构优先级来达到调整数据重构速度的目的。

除了上述对数据重构速度的直接控制，还可以控制数据重构过程的执行时机。当硬盘空间占用较大，存储池处于超水位状态时，硬盘性能会降低，如果触发数据重构，承载重构数据的硬盘占用会更大，甚至有可能占满，从而影响集群性能，并影响客户端写入功能。因此，目前已有方案在存储池处于超水位状态时，就会停止数据重构功能，避免数据重构造成承载数据的硬盘占用空间过大。但是，由于存储池的各个OSD数据分布不是完全均匀的，而且存储池水位阈值往往不够难以准确设置，导致这种控制方案精准性较差，使得数据重构性能受到影响。

可见，如何提供一种分布文件系统的数据重构方案，实现对数据重构过程的精确控制，避免数据重构性能较低从而影响集群性能的现象，是亟待本领域技术人员解决的问题。

发明内容

本申请的目的是提供一种分布式文件系统的数据重构方法、装置、服务器及可读存储介质，用以解决传统的数据重构控制方案不够精准，导致数据重构性能较低，甚至影响分布式集群性能的问题。其具体方案如下：

第一方面，本申请提供了一种分布式文件系统的数据重构方法，包括：

确定目标OSD所在存储池的主机数量和归置组副本数；

若所述归置组副本数等于所述主机数量，则确定所述目标OSD数据重构之后当前主机的各个OSD的水位；

若所述归置组副本小于所述主机数量，则确定所述目标OSD预期数据重构至的目标主机，并确定所述目标OSD数据重构之后所述目标主机的各个OSD的水位；

在所述各个OSD的水位均不超过重构水位限制时，对所述目标OSD执行数据重构。

优选的，所述确定所述目标OSD预期数据重构至的目标主机，包括：

根据CRUSH算法，确定所述目标OSD预期数据重构至的目标主机。

优选的，所述确定所述目标OSD数据重构之后当前主机的各个OSD的水位，包括：

确定所述目标OSD所在存储池的主机的OSD数量；

根据所述OSD数量，计算所述目标OSD的数据均分之后当前主机的各个OSD的水位，以作为数据重构之后所述当前主机的各个OSD的水位。

优选的，所述在所述各个OSD的水位均不超过重构水位限制时，对所述目标OSD执行数据重构，包括：

判断所述各个OSD的水位中是否存在超过重构水位限制的水位；