[发明专利]一种实现零停机升级的方法和装置在审

专利信息
申请号: 201810303780.5 申请日: 2018-04-03
公开(公告)号: CN110362582A 公开(公告)日: 2019-10-22
发明(设计)人: 杨远;温帮 申请(专利权)人: 北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司
主分类号: G06F16/23 分类号: G06F16/23;G06F16/21
代理公司: 中原信达知识产权代理有限责任公司 11219 代理人: 张一军;涂艳
地址: 100195 北京市海淀区杏石口路6*** 国省代码: 北京;11
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 集群 方法和装置 命名空间 停机 写入 计算机技术领域 数据同步 数据指定 不停机 预设 升级 迁移
【说明书】:

发明公开了实现零停机升级的方法和装置,涉及计算机技术领域。该方法的一具体实施方式包括:在低版本HBase集群预设命名空间;将新写入低版本HBase集群的数据指定相应的命名空间值,以将新写入低版本HBase集群的数据同步至高版本HBase集群中。该实施方式能够解决无法实现从低版本HBase集群到高版本HBase集群的不停机迁移的问题。

技术领域

本发明涉及计算机技术领域,尤其涉及一种实现零停机升级的方法和装置。

背景技术

在数据高速发展的时代,分布式体系成为了很重要的角色。在大数据的发展的背景下,分布式集群,分布式数据库,分布式文件系统都成为了受人们关注的焦点。在这个动力的趋势下,Hadoop集群成为了较成熟的分布式系统。分布式数据库HBase在Hadoop生态系统中正在不断的完善,HBase不同于传统的数据库,它是一个适用于非结构化数据存储的开源数据库,具有高扩展性、高性能,列存储、可伸缩、能实时读写大数据的特点。

在实现本发明过程中,发明人发现现有技术中至少存在如下问题:

在分布式数据库HBase的使用过程中,随着新技术,新功能的不断加入,要想使用这些新功能,必然得升级数据库,一般在版本跨度不大的情况下,升级数据库,原地升级就可以,但是在实际生产环境中,升级的版本跨度可能会很大,高版本不再兼容低版本。HBase1.1.X上的表是namespace下的,如果没有指定namespace,表会存在default的namespace下。HBase0.94没有namespace,同时HBase0.94和HBase1.1.X使用的协议是不一样的,而且HBase1.1.X更改一些API,导致不在兼容HBase0.98以下的版本,如果迁移数据,则需搭建一个集群,然后通过搭建的集群迁移数据,因此在迁移数据时需要停机一段时间,停机的时长根据业务的数据量大小增减。通常情况下1T的数据得停机1小时以上。停机对于一些重要的业务来说,是不允许的。哪怕停机一分钟,造成的损失也不容小觑。

发明内容

有鉴于此,本发明实施例提供一种实现零停机升级的方法和装置,能够解决无法实现从低版本HBase集群到高版本HBase集群的不停机迁移的问题。

为实现上述目的,根据本发明实施例的一个方面,提供了一种实现零停机升级的方法,包括在低版本HBase集群预设命名空间;将新写入低版本HBase集群的数据指定相应的命名空间值,以将新写入低版本HBase集群的数据同步至高版本HBase集群中。

可选地,将新写入低版本HBase集群的数据指定相应的命名空间值,包括:

将低版本HBase集群中预设的命名空间存储在服务器中,当低版本HBase集群具有新写入的数据时,获取服务器中的命名空间值,以对新写入低版本HBase集群的数据指定相应的命名空间值。

可选地,将新写入低版本HBase集群的数据同步至高版本HBase集群中,包括:

在低版本HBase集群中暂停数据同步,以使新写入低版本HBase集群的数据积压,然后在HDFS层面拷贝所述积压的数据至高版本HBase集群中;

将新写入低版本HBase集群的数据同步至高版本HBase集群中之后,则在低版本HBase集群中开启数据同步。

可选地,在HDFS层面拷贝所述数据至高版本HBase集群中,包括:

在低版本HBase集群中和高版本HBase集群中分别开启Replication功能,并指定Thrift服务的端口;然后通过Replication功能,使用Thrift协议,复制所述数据至高版本HBase集群中。

可选地,将新写入低版本HBase集群的数据同步至高版本HBase集群中之后,还包括:

修复拷贝至高版本HBase集群中的数据,以确认所述数据可用。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司,未经北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201810303780.5/2.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top