[发明专利]数据迁移方法、装置及电子设备

说明书

本发明实施例提供一种数据迁移方法、装置及电子设备，其中，方法包括确定第一节点中的目的数据盘；将第一节点中源数据盘中的数据以数据块为单位向目的数据盘中迁移数据，在对数据块执行数据迁移的过程中，确保存储在该第一节点以外的一个或多个第二数据节点中的所述数据块的副本处于非数据迁移状态。本发明实施例采用在在节点内部的源数据盘和目的数据盘进行数据迁移的方式，同时配合数据迁移策略来避免出现全部副本都处于数据迁移状态，从而能够实现在不中断服务的前提下实现分布式系统的数据迁移。

技术领域

本申请涉及一种数据迁移方法、装置及电子设备，属于计算机技术领域。

背景技术

随着分布式处理技术的发展，已经形成了许多的大数据处理平台，为用户提供针对海量数据的进行处理的服务。Hadoop分布式文件系统(简称HDFS)是一种被应用较多的分布式文件系统，由于HDFS具有较高的容错性，非常适合大规模数据集上的应用，因此，许多大数据平台的底层都采用了HDFS。

随着数据量的增长以及分布式技术的改进，数据迁移是分布式系统不可避免的问题。在基于HDFS的分布式系统中，数据迁移往往是整个HDFS集群一起执行迁移(例如谷歌所采用的迁移方式)，即将现有的HDFS集群全部直接迁移至全新的HDFS集群。迁移前后数据块的存放规则依然要满足HDFS的要求。这种迁移方式，基于迁移的数据所运行的服务需要停止运行，直到迁移完成。

由于HDFS集群数据迁移耗时较长，会导致基于HDFS集群运行的服务中断时间较长，严重影响用户的使用。并且，在这样大规模集群迁移的过程中，也很容易出现各种错误，从而会导致迁移时间进一步延长。

发明内容

本发明实施例提供一种数据迁移方法、装置及电子设备，以实现在不中断服务运行的情况下实现分布式系统的数据迁移。

为了实现上述目的，本发明实施例提供了一种数据迁移方法，该方法应用于分布式系统，所述方法包括：

确定第一节点中数据迁移的目的数据盘；

将第一节点中源数据盘中的数据以数据块为单位向目的数据盘中迁移数据，在对数据块执行数据迁移的过程中，确保存储在该第一节点以外的一个或多个第二数据节点中的所述数据块的副本处于非数据迁移状态。

本发明实施例还提供了一种数据迁移方法

应用于分布式系统中，包括：

确定节点中数据迁移的目的数据盘；

将节点中源数据盘中的数据向目的数据盘中执行数据迁移，

其中，至少针对一组具有副本关联关系的节点进行串行的数据迁移，至少针对部分不具有副本关联关系的节点进行并行的数据迁移。

本发明实施例还提供了一种数据迁移装置，包括：

目的数据盘确定模块，用于确定第一节点中数据迁移的目的数据盘；

数据迁移模块，用于将第一节点中源数据盘中的数据以数据块为单位向目的数据盘中迁移数据，在对数据块执行数据迁移的过程中，确保存储在该第一节点以外的一个或多个第二数据节点中的所述数据块的副本处于非数据迁移状态。

本发明实施例又提供了一种数据迁移装置，包括：

数据迁移控制模块，用于在分布式系统中，控制迁移处理模块至少针对一组具有副本关联关系的节点进行串行的数据迁移以及至少针对部分不具有副本关联关系的节点进行并行的数据迁移，

迁移处理模块，用于确定节点中的目的数据盘，将节点中源数据盘中的数据向目的数据盘中执行数据迁移。

本发明实施例还提供了一种电子设备，包括：

存储器，用于存储程序；