[发明专利]一种存储系统扩容方法、装置、设备及机器可读存储介质

说明书

本公开提供一种存储系统扩容方法、装置、设备及机器可读存储介质，该方法包括：根据预设规则，计算生成迁移信息，所述迁移信息包括各数据硬盘中需要迁移至各空硬盘的数据单元的编码，以及需要迁移的各数据单元与对应迁入的空硬盘的映射关系；根据迁移信息，将各数据硬盘中需要迁移的各数据单元迁入对应的空硬盘；根据迁移结果，更新映射表中数据单元与所在硬盘的映射关系；新加入的存储设备部分原本装载的空硬盘与原有的存储设备上部分原本装载的数据硬盘交换安装以使本存储设备包括若干块空硬盘和若干块数据硬盘。通过本公开的技术方案，大大提高在存储极群扩容后完成数据均衡的效率。

技术领域

本公开涉及通信技术领域，尤其是涉及一种存储系统扩容方法、装置、设备及机器可读存储介质。

背景技术

副本：(Replication)：一种为保证数据持久性采用的技术，指在系统内保留数据的多个相同拷贝。常见如2副本、3副本等。

纠删码(Erasure Code)：一种为保证数据持久性采用的技术。它将数据分割成片段(N片)，并按照一定算法生成冗余片段(M片)，并可以在丢失部分数据(不多于M片)的情况下，根据剩余数据将丢失的数据重建。这种分割方法一般记为(N，M)。常见的配置如(4,2)，(6,2)，(12,3)等。

数据均衡(Data Rebalance)：指在存储系统中，由于存储节点或硬盘的增减引起的数据重分布过程。本文中特指集群扩容中数据重新在各个节点和硬盘间分布，以取得数据均衡。

CRUSH(Controlled Replication Under Scalable Hashing)：开源分布式存储软件Ceph中采用的数据分布算法，可将数据以伪随机的方式根据事先配置的策略分布到存储节点和硬盘上。

PG(Placement Group)：归置组，是Ceph中的一个逻辑概念，每个PG对应一组object。Ceph以PG为单位对数据进行管理。

集群拓扑(Cluster Topology)：包括存储集群由哪些节点构成、每个节点包含哪些硬盘、节点和硬盘的编号、权重、状态等信息。集群拓扑信息由集群中的控制节点生成，并将此拓扑信息同步到整个存储集群，使得每个节点具有相同的集群拓扑信息。

数据量的快速增长是分布式存储系统扩容的主要动力。举例如下：初始时客户采购3台分布式存储设备组成一个存储集群；一年后，随着数据增长，存储集群利用率已经达到70％，客户需求再买入3台设备扩容。新设备加入到原有存储集群，并进行数据均衡，从而达到数据在新旧设备上的均衡分布。在存储集群规模较大时，当前缺少一种能够高效完成数据均衡等方法。

发明内容

有鉴于此，本公开提供一种存储系统扩容方法、装置及电子设备、机器可读存储介质，以改善上述不能高效完成数据均衡的问题。

具体地技术方案如下：

本公开提供了一种存储系统扩容方法，应用于存储集群中的存储设备，所述存储设备包括若干块空硬盘和若干块数据硬盘，所述方法包括：根据预设规则，计算生成迁移信息，所述迁移信息包括各数据硬盘中需要迁移至各空硬盘的数据单元的编码，以及需要迁移的各数据单元与对应迁入的空硬盘的映射关系；根据迁移信息，将各数据硬盘中需要迁移的各数据单元迁入对应的空硬盘；根据迁移结果，更新映射表中数据单元与所在硬盘的映射关系；所述空硬盘是存储集群中新加入的存储设备上原本装载的，所述数据硬盘是存储集群中原有的存储设备上原本装载的，新加入的存储设备部分原本装载的空硬盘与原有的存储设备上部分原本装载的数据硬盘交换安装以使本存储设备包括若干块空硬盘和若干块数据硬盘。

作为一种技术方案，所述根据预设规则，计算生成迁移信息，包括：所述根据预设规则，计算生成迁移信息，以使迁移后的原空硬盘与原数据硬盘数据均衡。