[发明专利]一种基于分布式存储系统的数据均衡方法及装置

说明书

本申请提供一种基于分布式存储系统的数据均衡方法及装置，该方法包括：获取磁盘均衡边界值、存储主机的主机参数、存储主机中磁盘的磁盘参数、磁盘中数据块的数量、数据块的置备容量和数据块的使用容量；根据预设的磁盘期望权重计算公式、主机参数和磁盘参数进行计算，得到磁盘期望权重比例；根据预设的磁盘实际权重计算公式、数据块的数量、数据块的置备容量和数据块的使用容量进行计算，得到磁盘实际权重比例；根据磁盘均衡边界值、磁盘期望权重比例和磁盘实际权重比例进行计算，得到迁移方案；根据迁移方案对磁盘中的数据块进行数据迁移。可见，该方法能够针对于不同的设备参数进行适应性存储，从而提高存储节点的利用率。

技术领域

本申请涉及数据处理领域，具体而言，涉及一种基于分布式存储系统的数据均衡方法及装置。

背景技术

现有的分布式存储系统中，存储主机的磁盘负载过高时会影响IO读写速度。为了避免这样的问题发生，往往会采用增加存储节点来均衡原有磁盘负载的数据量的方法，从而降低原有存储节点的压力。其中，现有的增加存储节点的方式是新加一些新的存储节点，以使所有存储节点均分原有磁盘负载的数据量。然而，在实践中发现，分布式存储系统中往往会存在较多种类的存储节点，而这些存储节点的设备参数并不完全一致，采用现有的这种方法只能提高存储容量，并不能提高存储的质量。也就是说，现有的方法中没有办法针对于不同的设备参数进行适应性存储，从而导致现有的方法不得不使用更多的存储节点，进而导致了存储节点的利用率下降。

发明内容

本申请实施例的目的在于提供一种基于分布式存储系统的数据均衡方法及装置，能够针对于不同的设备参数进行适应性存储，从而提高存储节点的利用率。

本申请实施例第一方面提供了一种基于分布式存储系统的数据均衡方法，包括：

获取磁盘均衡边界值、存储主机的主机参数、所述存储主机中磁盘的磁盘参数、所述磁盘中数据块的数量、所述数据块的置备容量和所述数据块的使用容量；

根据预设的磁盘期望权重计算公式、所述主机参数和所述磁盘参数进行计算，得到磁盘期望权重比例；

根据预设的磁盘实际权重计算公式、所述数据块的数量、所述数据块的置备容量和所述数据块的使用容量进行计算，得到磁盘实际权重比例；

根据所述磁盘均衡边界值、所述磁盘期望权重比例和所述磁盘实际权重比例进行计算，得到迁移方案；

根据所述迁移方案对所述磁盘中的数据块进行数据迁移。

在上述实现过程中，首先要了解分布式存储系统对应一个保护域，一个保护域中包括多个存储主机，每个存储主机又包括多个磁盘，每个磁盘有包括多个数据块。在此基础上，该方法将分布式存储系统中的所有硬件信息和存储信息提出取来，然后根据该些信息进行计算，得到理论存放比例和当前存放比例，然后根据该两个存放比例进行计算规划得到相应的迁移方案，以使该方法能够根据该迁移方案进行迁移。可见，实施这种实施方式，能够在获取分布式存储系统的相关信息的过程中获取所有硬件信息，而该些硬件信息大多互不相同，这就使得该方法能够适用于该种系统中进行数据均衡，尤其是当加入新的存储主机或磁盘时，该方法可以无视存储主机和磁盘的硬件参数进行数据均衡，从而提高数据均衡的适应性，提高存储节点的利用率。

进一步地，所述分布式存储系统包括多个存储主机，每个存储主机的主机参数包括CPU主频和内存容量；每个存储主机包括多个磁盘，每个磁盘的磁盘参数包括磁盘总容量；每个磁盘包括多个数据块。

进一步地，所述磁盘期望权重计算公式为