[发明专利]数据迁移的方法和系统

说明书

本申请公开了一种数据迁移的方法和系统，属于数据处理技术领域。所述方法应用于数据迁移系统中，所述数据迁移系统包括管理节点和多个处理节点，所述方法包括：所述管理节点确定数据迁移的源集群和目标集群；所述管理节点将所述源集群存储的待迁移数据切分为多个数据块，确定每个数据块对应的处理节点；每个处理节点从所述源集群获取对应的数据块；每个处理节点将获取到的数据块发送给所述目标集群。采用本申请，可以有效解决相关技术中数据迁移的速度较慢的技术问题。

技术领域

本申请涉及数据处理技术领域，具体涉及一种数据迁移的方法和系统。

背景技术

在很多存储场景中，均需要进行数据迁移。例如，目前针对实时数据计算，大部分都采用ElasticSearch作为存储引擎。但是，随着数据量的直线增长，在同一个集群中有可能多个索引达到TB级别数据，并且，这些索引占据着非常重要的业务场景。此时，就需要对这些索引进行迁移，来减少对目前集群的压力。

相关技术中数据迁移的方法，将源集群存储的数据直接迁移到目标集群中，数据迁移的速度比较慢。

发明内容

本申请实施例提供了一种数据迁移的方法和系统，可以解决相关技术中存在的技术问题。所述数据迁移的方法和系统的技术方案如下：

第一方面，提供了一种数据迁移的方法，所述方法应用于数据迁移系统中，所述数据迁移系统包括管理节点和多个处理节点，所述方法包括：

所述管理节点确定数据迁移的源集群和目标集群；

所述管理节点将所述源集群存储的待迁移数据切分为多个数据块，确定每个数据块对应的处理节点；

每个处理节点从所述源集群获取对应的数据块；

每个处理节点将获取到的数据块发送给所述目标集群。

在一种可能的实现方式中，所述管理节点确定数据迁移的源集群和目标集群，包括：

接收迁移客户端发送的数据迁移消息，其中，所述数据迁移消息中携带有所述源集群的标识和所述目标集群的标识；

基于所述数据迁移消息，确定所述源集群和所述目标集群。

在一种可能的实现方式中，所述数据迁移消息中还携带有所述待迁移数据的标识，所述基于所述数据迁移消息，确定所述源集群和所述目标集群，包括：

基于所述数据迁移消息，确定所述源集群、所述目标集群和所述待迁移的数据。

在一种可能的实现方式中，所述管理节点将所述源集群存储的待迁移数据切分为多个数据块，包括：

基于二分法，将所述待迁移数据切分为多个数据块，其中，每个数据块的数据量小于第一设定阈值。

在一种可能的实现方式中，所述管理节点将所述源集群存储的待迁移数据切分为多个数据块，包括：

基于Dinkelbach算法，将所述待迁移数据切分为多个数据块，其中，每个数据块的数据量小于第一设定阈值。

在一种可能的实现方式中，所述每个处理节点将获取到的数据块发送给所述目标集群，包括：

对于每个处理节点，当所述处理节点从所述源集群获取到的一个或多个数据块的总数据量大于第二设定阈值时，将所述一个或多个数据块发送给所述目标集群；或者，

对于每个处理节点，当所述处理节点此次从所述源集群获取数据块的获取时长达到设定时长时，将此次获取到的一个或多个数据块发送给所述目标集群。

在一种可能的实现方式中，所述方法还包括：