[发明专利]Hbase的数据在线迁移方法和装置

说明书

本申请提供了一种Hbase的数据在线迁移方法和装置，该方法包括：从第一时刻开始，将第一集群的数据镜像到第二集群；在镜像结束后的第二时刻，开启第一集群和第二集群的双向同步，将第二时刻之后第一集群和第二集群更新的数据在两个集群之间进行同步；将从第一时刻到第二时刻的时间段内第一集群更新的数据拷贝到第二集群。在不停止对原集群的写访问的情况下，实现了不中断业务的数据在线迁移。

技术领域

本申请涉及互联网数据服务技术，具体涉及一种Hbase的数据在线迁移方法和装置。

背景技术

Hadoop数据库(Hadoop Database，HBase)是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价的个人电脑服务器(PC Server)上搭建起大规模结构化存储集群。

HBase的数据进行离线迁移时，将数据从原集群拷贝到目标集群；而对数据进行在线迁移时，通常需要停止对原集群的写访问，会使前端业务出现中断。

发明内容

有鉴于此，本申请实施例提供了一种Hbase的数据在线迁移方法和装置，以解决Hbase的数据在线迁移会中断前端业务的技术问题。

根据本申请实施例的一个方面，提供了一种Hbase的数据在线迁移方法，所述方法包括：从第一时刻开始，将第一集群的数据镜像到第二集群；在镜像结束后的第二时刻，开启第一集群和第二集群的双向同步，将第二时刻之后第一集群和第二集群更新的数据在两个集群之间进行同步；将从第一时刻到第二时刻的时间段内第一集群更新的数据拷贝到第二集群。

在一个实施例中，从第一时刻开始，将第一集群的数据镜像到第二集群包括：将与第一集群需要被迁移的表相同的表结构创建至第二集群；控制第一集群获取需要被迁移的表的快照并将所述快照拷贝到第二集群；控制第二集群在所述表结构下根据所述快照复位对应的数据。

在一个实施例中，在镜像结束后的第二时刻，开启第一集群和第二集群的双向同步，将第二时刻之后第一集群和第二集群更新的数据在两个集群之间进行同步包括：建立第一集群与第二集群之间的同步复制关系；为第二时刻之后第一集群和第二集群更新的数据所在的表添加复制属性；将被添加复制属性的表在两个集群之间进行数据同步更新。

在一个实施例中，将从第一时刻到第二时刻的时间段内第一集群更新的数据拷贝到第二集群包括：保持第一集群与第二集群之间的同步复制关系，将从第一时刻到第二时刻的时间段内第一集群更新的数据拷贝到第二集群对应的表。

在一个实施例中，Hbase的数据在线迁移方法还包括：将针对第一集群被迁移数据的读访问和写访问切换到第二集群。

根据本申请实施例的另一个方面，提供了一种Hbase的数据在线迁移装置，所述装置包括：数据镜像模块，用于从第一时刻开始，将第一集群的数据镜像到第二集群；双向同步模块，用于在镜像结束后的第二时刻，开启第一集群和第二集群的双向同步，将第二时刻之后第一集群和第二集群更新的数据在两个集群之间进行同步；拷贝模块，用于将从第一时刻到第二时刻的时间段内第一集群更新的数据拷贝到第二集群。

在一个实施例中，数据镜像模块包括：表结构创建单元，用于将与第一集群需要被迁移的表相同的表结构创建至第二集群；快照处理单元，用于控制第一集群获取需要被迁移的表的快照并将所述快照拷贝到第二集群；数据复位单元，用于控制第二集群在所述表结构下根据所述快照复位对应的数据。

在一个实施例中，双向同步模块包括：同步关系建立单元，用于建立第一集群与第二集群之间的同步复制关系；属性添加单元，用于为第二时刻之后第一集群和第二集群更新的数据所在的表添加复制属性；同步更新单元，用于将被添加复制属性的表在两个集群之间进行数据同步更新。

在一个实施例中，拷贝模块进一步用于：保持第一集群与第二集群之间的同步复制关系，将从第一时刻到第二时刻的时间段内第一集群更新的数据拷贝到第二集群对应的表。