[发明专利]一种实现零停机升级的方法和装置在审
申请号: | 201810303780.5 | 申请日: | 2018-04-03 |
公开(公告)号: | CN110362582A | 公开(公告)日: | 2019-10-22 |
发明(设计)人: | 杨远;温帮 | 申请(专利权)人: | 北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司 |
主分类号: | G06F16/23 | 分类号: | G06F16/23;G06F16/21 |
代理公司: | 中原信达知识产权代理有限责任公司 11219 | 代理人: | 张一军;涂艳 |
地址: | 100195 北京市海淀区杏石口路6*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 集群 方法和装置 命名空间 停机 写入 计算机技术领域 数据同步 数据指定 不停机 预设 升级 迁移 | ||
本发明公开了实现零停机升级的方法和装置,涉及计算机技术领域。该方法的一具体实施方式包括:在低版本HBase集群预设命名空间;将新写入低版本HBase集群的数据指定相应的命名空间值,以将新写入低版本HBase集群的数据同步至高版本HBase集群中。该实施方式能够解决无法实现从低版本HBase集群到高版本HBase集群的不停机迁移的问题。
技术领域
本发明涉及计算机技术领域,尤其涉及一种实现零停机升级的方法和装置。
背景技术
在数据高速发展的时代,分布式体系成为了很重要的角色。在大数据的发展的背景下,分布式集群,分布式数据库,分布式文件系统都成为了受人们关注的焦点。在这个动力的趋势下,Hadoop集群成为了较成熟的分布式系统。分布式数据库HBase在Hadoop生态系统中正在不断的完善,HBase不同于传统的数据库,它是一个适用于非结构化数据存储的开源数据库,具有高扩展性、高性能,列存储、可伸缩、能实时读写大数据的特点。
在实现本发明过程中,发明人发现现有技术中至少存在如下问题:
在分布式数据库HBase的使用过程中,随着新技术,新功能的不断加入,要想使用这些新功能,必然得升级数据库,一般在版本跨度不大的情况下,升级数据库,原地升级就可以,但是在实际生产环境中,升级的版本跨度可能会很大,高版本不再兼容低版本。HBase1.1.X上的表是namespace下的,如果没有指定namespace,表会存在default的namespace下。HBase0.94没有namespace,同时HBase0.94和HBase1.1.X使用的协议是不一样的,而且HBase1.1.X更改一些API,导致不在兼容HBase0.98以下的版本,如果迁移数据,则需搭建一个集群,然后通过搭建的集群迁移数据,因此在迁移数据时需要停机一段时间,停机的时长根据业务的数据量大小增减。通常情况下1T的数据得停机1小时以上。停机对于一些重要的业务来说,是不允许的。哪怕停机一分钟,造成的损失也不容小觑。
发明内容
有鉴于此,本发明实施例提供一种实现零停机升级的方法和装置,能够解决无法实现从低版本HBase集群到高版本HBase集群的不停机迁移的问题。
为实现上述目的,根据本发明实施例的一个方面,提供了一种实现零停机升级的方法,包括在低版本HBase集群预设命名空间;将新写入低版本HBase集群的数据指定相应的命名空间值,以将新写入低版本HBase集群的数据同步至高版本HBase集群中。
可选地,将新写入低版本HBase集群的数据指定相应的命名空间值,包括:
将低版本HBase集群中预设的命名空间存储在服务器中,当低版本HBase集群具有新写入的数据时,获取服务器中的命名空间值,以对新写入低版本HBase集群的数据指定相应的命名空间值。
可选地,将新写入低版本HBase集群的数据同步至高版本HBase集群中,包括:
在低版本HBase集群中暂停数据同步,以使新写入低版本HBase集群的数据积压,然后在HDFS层面拷贝所述积压的数据至高版本HBase集群中;
将新写入低版本HBase集群的数据同步至高版本HBase集群中之后,则在低版本HBase集群中开启数据同步。
可选地,在HDFS层面拷贝所述数据至高版本HBase集群中,包括:
在低版本HBase集群中和高版本HBase集群中分别开启Replication功能,并指定Thrift服务的端口;然后通过Replication功能,使用Thrift协议,复制所述数据至高版本HBase集群中。
可选地,将新写入低版本HBase集群的数据同步至高版本HBase集群中之后,还包括:
修复拷贝至高版本HBase集群中的数据,以确认所述数据可用。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司,未经北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810303780.5/2.html,转载请声明来源钻瓜专利网。
- 上一篇:一种数据处理方法及装置
- 下一篇:一种用于多数据源的数据处理方法和装置