[发明专利]数据迁移方法及装置

说明书

本申请实施例提供一种数据迁移方法及装置，涉及分布式存储技术领域，所述方法及装置通过获取目标数据中各数据分片当前所在存储节点构成的第一集合以及待迁移至的存储节点构成的第二集合，然后检测第一集合与第二集合的交集的节点数量，最后根据所述交集的节点数量与预设数量阈值判断是否需要进行数据迁移以及需要迁移的数据量，并且对于非必要的数据分片直接删除。通过该方法及装置，可以在保证目标数据可完整恢复的前提下，减少数据分片的迁移量，从而降低扩容对分布式存储系统业务性能的影响。

技术领域

本申请涉及分布式存储技术领域，具体而言，涉及一种数据迁移方法及装置。

背景技术

在分布式存储系统中，当一个或多个节点达到一定空间使用率(如70％)时，会对该存储系统进行扩容。而扩容后，需要将部分原有节点中的数据迁移至扩容节点中，以释放原有节点的存储空间，使各个节点的写入数据量保持均匀。

现有技术中，在进行扩容时会迁移大量原有节点中的数据至扩容节点，从而产生大量的迁移流量，对上层业务的读写性能造成严重影响。

因此，对于本领域技术人员而言，降低扩容对业务性能的影响是一个亟待解决的技术问题。

发明内容

为了克服现有技术中的上述不足，本申请提供一种数据迁移方法及装置以降低分布式存储系统在扩容时的数据迁移量，从而降低扩容对业务性能的影响。

为了实现上述目的，本申请较佳实施例采用的技术方案如下：

第一方面，本申请实施例提供一种数据迁移方法，应用于分布式存储系统，所述系统包括多个通信连接的存储节点，所述方法包括：

获取目标数据中各数据分片当前所在存储节点构成的第一集合，以及所述目标数据中各数据分片待迁移至的存储节点构成的第二集合；

检测所述第一集合与所述第二集合的交集的节点数量；

若所述交集的节点数量大于或等于预设的数量阈值，删除所述第一集合中不属于所述交集的存储节点所存储的数据分片；

若所述交集的节点数量小于所述数量阈值，计算所述节点数量与所述数量阈值的差值，从属于所述第一集合但不属于所述交集的存储节点中选择与所述差值相同数量的第一目标节点；

将所述第一目标节点中所存储的数据分片对应迁移到属于所述第二集合但不属于所述交集的存储节点中，并删除所述第一集合中除所述交集及所述第一目标节点之外的存储节点所存储的数据分片。

可选地，在本申请实施例中，所述检测所述第一集合与所述第二集合的交集的节点数量的步骤，包括：

获取所述第一集合与所述第二集合中各存储节点所对应的节点编号及数据分片顺序编号；

将所述第一集合与所述第二集合中对应节点编号相同且数据分片顺序编号相同的存储节点作为所述第一集合与所述第二集合的交集，得到所述第一集合与所述第二集合的交集的节点数量。

可选地，在本申请实施例中，所述方法还包括确定所述数量阈值的步骤，该步骤包括：

检测所述目标数据的冗余方式；

在所述冗余方式为多副本时，根据预设副本数量确定所述数量阈值；

在所述冗余方式为纠删码时，根据所述纠删码中的数据块数量确定所述数量阈值。

可选地，在本申请实施例中，所述从属于所述第一集合但不属于所述交集的存储节点中选择与所述差值相同数量的第一目标节点的步骤，包括：

筛选出属于所述第一集合但不属于所述交集的存储节点；