[发明专利]一种分布式存储系统数据均衡的方法和相关装置

说明书

本申请公开了一种分布式存储系统数据均衡的方法和相关装置，该方法包括：从目标服务器的当前磁盘中，选择一个待数据重整数据块作为目标数据块；依据目标服务器的各个磁盘的使用情况和数据重整并发数据，筛选符合预设使用条件和预设数据重整并发条件的磁盘作为目标磁盘；对目标数据块进行数据重整，将数据重整后的数据写入目标磁盘。在数据重整后的数据写入目标选择上，优先选择使用情况和数据重整并发数据符合预设使用条件和预设数据重整并发条件的磁盘；采用上述方式通过已有的数据重整处理，动态调节不同磁盘的使用情况，实现服务器集群中单个服务器内不同磁盘间数据均衡，不会增加额外的磁盘IO，也避免了服务器集群的写入瓶颈。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种分布式存储系统数据均衡的方法和相关装置。

背景技术

随着数据的快速增长，分布式存储系统的应用越来越广，例如，分布式对象存储系统。分布式存储系统通常采用循环策略将数据自动打散存储到不同服务器的不同磁盘上，当扩容新的服务器后，由于新的服务器还未存储数据，分布式存储系统采用可用空间策略优先将数据写入至新的服务器，使得服务器集群中各个服务器使用率趋于均衡状态。

分布式存储系统经常出现磁盘故障的情况，当磁盘修复完成重新加入服务器后，通常是采用可用空间策略优先或者主动数据均衡策略实现服务器集群中单个服务器内数据均衡。但是，可用空间策略对于单个服务器内不同磁盘间数据均衡效果一般，容易出现服务器集群的写入瓶颈；主动数据均衡策略对存在吞吐压力的服务器集群造成额外的IO放大。

发明内容

有鉴于此，本申请实施例提供一种分布式存储系统数据均衡的方法和相关装置，不会增加额外的磁盘IO，也避免了服务器集群的写入瓶颈，即可实现服务器集群中单个服务器内不同磁盘间数据均衡。

第一方面，本申请实施例提供了一种分布式存储系统数据均衡的方法，所述方法包括：

从目标服务器的当前磁盘中，确定一个待数据重整数据块为目标数据块；

基于所述目标服务器的各个磁盘的使用情况和数据重整并发数据，筛选符合预设使用条件和预设数据重整并发条件的磁盘作为目标磁盘；

对所述目标数据块进行数据重整，将数据重整后的数据写入所述目标磁盘。

可选的，所述基于所述目标服务器的各个磁盘的使用情况和数据重整并发数据，筛选符合预设条件的磁盘为目标磁盘，包括：

基于各个所述磁盘的使用情况，筛选符合所述预设使用条件的磁盘作为候选磁盘；

基于各个所述候选磁盘的可用空间由大到小排序各个所述候选磁盘；

按照排序判断所述候选磁盘的数据重整并发数据是否符合预设数据重整并发条件；若是，将所述候选磁盘确定为所述目标磁盘。

可选的，所述预设使用条件具体为可用空间大于所述当前磁盘的可用空间，或者，磁盘使用率小于所述当前磁盘的磁盘使用率；所述预设数据重整并发条件具体为数据重整并发数据小于预设数据重整并发数据上限。

可选的，所述数据重整并发数据包括数据重整并发数量和数据重整并发速度。

可选的，所述按照排序判断所述候选磁盘的数据重整并发数据是否符合预设数据重整并发条件，具体为：

按照排序判断所述候选磁盘的数据重整并发数量是否小于预设数据重整并发数量上限，且数据重整并发速度是否小于预设数据重整并发速度上限。

可选的，在所述筛选符合预设使用条件和预设数据重整并发条件的磁盘作为目标磁盘之后，还包括：

更新所述目标磁盘的数据重整并发数据。

可选的，所述确定一个待数据重整数据块为目标数据块，具体为：