[发明专利]数据迁移方法、装置、计算设备及存储介质

说明书

本申请公开了一种数据迁移方法、装置、计算设备及存储介质，该方法包括：根据第一存储集群中的待迁移数据的存储位置信息，对待迁移数据进行分组，得到至少一个待迁移数据分组；将至少一个待迁移数据分组的元数据信息聚合到至少一个条带中；针对于任一条带，根据该条带包含的元数据信息确定一个或多个待迁移数据分组在第一存储集群的目标存储位置信息；根据目标存储位置信息，从第一存储集群中读取一个或多个待迁移数据分组对应的目标数据并存储到第二存储集群中。通过上述方式，提供了从第一存储集群迁移数据到第二存储集群的方法，能够支持异构存储环境到另一存储集群的数据迁移，避免异构存储系统之间的差异对数据迁移的影响。

技术领域

本申请涉及数据库技术领域，具体涉及一种数据迁移方法、装置、计算设备及存储介质。

背景技术

随着数据量的不断增加，传统的单一存储方案已经难以满足需求，通过异构存储集群存储业务数据是非常普遍的。目前，一些存储集群(例如纠删码存储集群)因其高效、高可靠性等优点，被越来越多的企业选择为最终存储方案，基于此，对异构存储集群的数据进行迁移则成为关键问题。然而，由于存储系统的异构性，不同存储系统之间存在协议差异、性能差异等问题，导致数据迁移变得非常困难，现有技术缺乏支持异构存储环境的数据迁移方法。

发明内容

本申请实施例的目的是提供一种数据迁移方法、装置、计算设备及存储介质，以解决现有技术缺乏支持异构存储环境的数据迁移方法的问题。

根据本申请的一个方面，提供了一种数据迁移方法，方法包括：

根据第一存储集群中的待迁移数据的存储位置信息，对待迁移数据进行分组，得到至少一个待迁移数据分组；

将至少一个待迁移数据分组的元数据信息聚合到至少一个条带中；其中，一个条带包含一个或多个待迁移数据分组的元数据信息；

针对于任一条带，根据该条带包含的元数据信息确定一个或多个待迁移数据分组在第一存储集群的目标存储位置信息；

根据目标存储位置信息，从第一存储集群中读取一个或多个待迁移数据分组对应的目标数据并存储到第二存储集群中。

可选地，将至少一个待迁移数据分组的元数据信息聚合到至少一个条带中进一步包括：

根据至少一个待迁移数据分组的分组信息和/或数据大小信息，将至少一个待迁移数据分组的元数据信息聚合到至少一个条带中。

可选地，从第一存储集群中读取一个或多个待迁移数据分组对应的目标数据进一步包括：

按照迁移限速从第一存储集群中读取目标数据；

其中，中间件监控第一存储集群的性能指标并根据性能指标动态调整迁移限速。

可选地，性能指标包括：网络带宽和/或系统负载。

可选地，在从第一存储集群中读取一个或多个待迁移数据分组对应的目标数据并存储到第二存储集群中之后，方法还包括：

校验第二存储集群中的目标数据与第一存储集群中与目标数据对应的待迁移数据是否一致；

若是，将目标数据在第二存储集群中的存储位置信息更新到第一存储集群中，以供第一存储集群在接收到针对目标数据对应的待迁移数据的读取请求之后，将读取请求转发至第二存储集群。

可选地，方法还包括：

在校验一致的情况下，第一存储集群将与目标数据对应的待迁移数据进行删除。

可选地，从第一存储集群中读取一个或多个待迁移数据分组对应的目标数据之后，方法进一步包括：

按照预设编码方式对目标数据进行编码，得到目标数据的待比对校验信息；将目标数据的待比对校验信息存储到第二存储集群中；