[发明专利]一种大规模集群的数据迁移方法、装置和介质

说明书

本发明实施例公开了一种大规模集群的数据迁移方法、装置和介质，按照设定的部署计划构建新集群；关闭原集群上元数据对应的对外服务，并将原集群上的元数据迁移至新集群；重启原集群和新集群，依据部署计划中包含的迁移数量，将原集群上的数据节点依次迁移至新集群。将集群中的数据分为元数据和数据节点两部分，将原集群的元数据的服务关闭并迁移至新集群，重启原集群和新集群，使新集群元数据服务可以在原集群上寻找数据节点，保证服务的正常运行，有效缩短了服务端暂停服务的时间。并且按照迁移数量，少量多次的实现各数据节点的迁移，可以在保证当前服务正常运行的情况下实现数据的快速迁移，提升了数据迁移的效率。

技术领域

本发明涉及数据迁移技术领域，特别是涉及一种大规模集群的数据迁移方法、装置和计算机可读存储介质。

背景技术

随着互联网技术高速发展，庞大数量的用户在使用互联网时会产生大量的数据，服务商需要考虑将用户的数据存储起来，但由于存储用户数量的数据库的承载量是有限的，随着用户量的增加、数据量的不断积累，需要对数据库进行扩容。

目前扩容的方法是增加更多的数据库，但同时产生了一系列的问题：增加数据库后为了方便用户数据的管理，需要将用户数据进行迁移，但是数据迁移涉及数据量过于庞大，基本上都是海量级别。现有的迁移方法通常是将整个数据库的用户数据一起进行迁移，并且需要服务端暂停一段时间的服务来完成数据的迁移，这样会对用户使用过程带来不便。由于目前的数据量都已达到PB级，将整个数据库的用户数据一起进行迁移时的效率偏低。

可见，如何在大规模集群下高效的迁移数据，是本领域技术人员需要解决的问题。

发明内容

本发明实施例的目的是提供一种大规模集群的数据迁移方法、装置和计算机可读存储介质，可以在大规模集群下高效的迁移数据。

为解决上述技术问题，本发明实施例提供一种大规模集群的数据迁移方法，包括：

按照设定的部署计划构建新集群；

关闭所述原集群上所述元数据对应的对外服务，并将原集群上的元数据迁移至所述新集群；

重启所述原集群和所述新集群，依据所述部署计划中包含的迁移数量，将所述原集群上的数据节点依次迁移至所述新集群。

可选地，所述按照设定的部署计划构建新集群包括：

在当前时间达到设定的时间值或所述原集群的数据量大于或等于预设数据量时，在与原集群相同的网段下构建新集群。

可选地，所述依据所述部署计划中包含的迁移数量，将所述原集群上的数据节点依次迁移至所述新集群包括：

对所述原集群上的数据节点依次设置标号；

按照标号顺序从所述原集群中筛选出与所述迁移数量相等并且处于关闭状态的目标数据节点；

将所述目标数据节点迁移至所述新集群。

可选地，在所述将所述目标数据节点迁移至所述新集群之后还包括：

按照设定的数据校验规则，对各所述目标数据节点进行校验；

当所有所述目标数据节点通过校验时，则执行所述按照标号顺序从所述原集群中筛选出与所述迁移数量相等并且处于关闭状态的目标数据节点的步骤。

可选地，在所述将所述原集群上的数据节点依次迁移至所述新集群之后还包括：

判断所述原集群上是否存在剩余的数据节点；

若所述原集群上不存在剩余的数据节点，则关闭所述原集群；

若所述原集群上存在剩余的数据节点，则将剩余的数据节点迁移至所述新集群，并在完成剩余的数据节点的迁移之后，关闭所述原集群。