[发明专利]Hbase的数据在线迁移方法和装置在审
申请号: | 201711262754.4 | 申请日: | 2017-12-04 |
公开(公告)号: | CN108038153A | 公开(公告)日: | 2018-05-15 |
发明(设计)人: | 刘志杰 | 申请(专利权)人: | 北京小度信息科技有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 北京睿派知识产权代理事务所(普通合伙) 11597 | 代理人: | 刘锋 |
地址: | 100085 北京市海淀区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | hbase 数据 在线 迁移 方法 装置 | ||
1.一种Hbase的数据在线迁移方法,其特征在于,所述方法包括:
从第一时刻开始,将第一集群的数据镜像到第二集群;
在镜像结束后的第二时刻,开启第一集群和第二集群的双向同步,将第二时刻之后第一集群和第二集群更新的数据在两个集群之间进行同步;
将从第一时刻到第二时刻的时间段内第一集群更新的数据拷贝到第二集群。
2.根据权利要求1所述的方法,其特征在于,从第一时刻开始,将第一集群的数据镜像到第二集群包括:
将与第一集群需要被迁移的表相同的表结构创建至第二集群;
控制第一集群获取需要被迁移的表的快照并将所述快照拷贝到第二集群;
控制第二集群在所述表结构下根据所述快照复位对应的数据。
3.根据权利要求1所述的方法,其特征在于,在镜像结束后的第二时刻,开启第一集群和第二集群的双向同步,将第二时刻之后第一集群和第二集群更新的数据在两个集群之间进行同步包括:
建立第一集群与第二集群之间的同步复制关系;
为第二时刻之后第一集群和第二集群更新的数据所在的表添加复制属性;
将被添加复制属性的表在两个集群之间进行数据同步更新。
4.根据权利要求1所述的方法,其特征在于,将从第一时刻到第二时刻的时间段内第一集群更新的数据拷贝到第二集群包括:
保持第一集群与第二集群之间的同步复制关系,将从第一时刻到第二时刻的时间段内第一集群更新的数据拷贝到第二集群对应的表。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
将针对第一集群被迁移数据的读访问和写访问切换到第二集群。
6.一种Hbase的数据在线迁移装置,其特征在于,所述装置包括:
数据镜像模块,用于从第一时刻开始,将第一集群的数据镜像到第二集群;
双向同步模块,用于在镜像结束后的第二时刻,开启第一集群和第二集群的双向同步,将第二时刻之后第一集群和第二集群更新的数据在两个集群之间进行同步;
拷贝模块,用于将从第一时刻到第二时刻的时间段内第一集群更新的数据拷贝到第二集群。
7.根据权利要求6所述的装置,其特征在于,数据镜像模块包括:
表结构创建单元,用于将与第一集群需要被迁移的表相同的表结构创建至第二集群;
快照处理单元,用于控制第一集群获取需要被迁移的表的快照并将所述快照拷贝到第二集群;
数据复位单元,用于控制第二集群在所述表结构下根据所述快照复位对应的数据。
8.根据权利要求6所述的装置,其特征在于,双向同步模块包括:
同步关系建立单元,用于建立第一集群与第二集群之间的同步复制关系;
属性添加单元,用于为第二时刻之后第一集群和第二集群更新的数据所在的表添加复制属性;
同步更新单元,用于将被添加复制属性的表在两个集群之间进行数据同步更新。
9.一种电子设备,其特征在于,包括存储器和处理器;所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机被所述处理器执行以实现权利要求1至5任意一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机指令,其特征在于,该指令被处理器执行时实现权利要求1至5任意一项所述方法的步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京小度信息科技有限公司,未经北京小度信息科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201711262754.4/1.html,转载请声明来源钻瓜专利网。
- 上一篇:柔性显示面板和显示装置
- 下一篇:一种铝合金基体桨叶的前缘防护结构
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置