[发明专利]数据存储方法及装置有效

专利信息
申请号: 201910301133.5 申请日: 2019-04-15
公开(公告)号: CN109992531B 公开(公告)日: 2020-11-10
发明(设计)人: 张永飞;贾金元;杨尧;王诗强 申请(专利权)人: 成都四方伟业软件股份有限公司
主分类号: G06F12/1036 分类号: G06F12/1036;G06F3/06;H04L29/08
代理公司: 北京超凡宏宇专利代理事务所(特殊普通合伙) 11463 代理人: 杨奇松
地址: 610000 四川省*** 国省代码: 四川;51
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 数据 存储 方法 装置
【说明书】:

本申请公开了一种数据存储方法及装置,能够在集群开启高可用的情况下,正常地进行数据存储。本申请应用于集群系统的管理端,其具体方案为:首先获取集群的集群标识以及所述集群中服务节点的访问地址,所述服务节点为该集群中当前执行操作的节点,并将所述集群标识以及所述访问地址的对应关系存储至虚拟解析服务器中;然后在需要存储数据的情况下,接收数据存储请求并从所述存储请求中获取待访问的目标集群的集群标识,再根据目标集群的集群标识,从所述虚拟解析服务器中获取与所述目标集群对应的访问地址,最后根据所述访问地址存储数据。

技术领域

本申请涉及数据存储技术领域,具体而言,涉及一种数据存储方法及装置。

背景技术

在HDFS(Hadoop Distributed File System,分布式文件存储系统)集群中,当集群中没有开启HA时,Hive表存储数据文件的路径为“hdfs://{NameNode主机名}:8020/apps/hive/warehouse/test”,也就是说,Hive表中的存储路径即直接对应活动节点的地址。当集群中开启了HA时,集群中Hive表映射到HDFS的数据文件的路径将变成“hdfs:/{集群名}/apps/hive/warehouse/test”,也就是说,Hive表征的存储路径只能与该集群对应,此时通过Hcatalog方式操作Hive表时,便无法根据集群名获取到当前主节点的地址,也就是说,开启HA时,通过Hcatalog操作的方式无法找到正确的存储路径,这样就会导致操作Hive表时出现异常。

发明内容

为了至少克服现有技术中的上述不足,本申请的目的之一在于提供一种数据存储方法,应用于集群系统的管理端,所述方法包括:

获取集群的集群标识以及所述集群中服务节点的访问地址,所述服务节点为该集群中当前执行操作的节点;

将所述集群标识以及所述访问地址的对应关系存储至虚拟解析服务器中;

接收数据存储请求并从所述存储请求中获取待访问的目标集群的集群标识,所述目标集群为开启高可用的集群;

根据目标集群的集群标识,从所述虚拟解析服务器中获取与所述目标集群对应的访问地址;

根据所述访问地址存储数据。

可选地,所述集群系统的管理端预先存储有节点的识别标识与该节点的访问地址的对应关系,所述获取集群的集群标识以及所述集群中服务节点的访问地址的步骤包括:

获取所述集群的集群标识以及所述服务节点的识别标识,所述识别标识是标识节点的信息;

根据所述识别标识获取所述服务节点的访问地址。

可选地,在获取所述集群的集群标识以及所述服务节点的识别标识的步骤前,所述方法还包括:

判断是否存在集群对应的高可用节点,所述高可用节点为所述集群开启高可用时由管理端建立的节点;

如果存在高可用节点,则执行获取所述集群的集群标识以及所述服务节点的识别标识的步骤;

所述获取所述集群的集群标识以及所述服务节点的识别标识的信息的步骤包括:

获取与所述高可用节点对应的集群的集群标识;

从所述高可用节点的叶子节点实时获取服务节点的识别标识。

可选地,所述集群系统的管理端中配置有Zookeeper组件。

可选地,所述根据所述访问地址存储数据的步骤包括:

获取所述目标集群对应的访问对象,所述访问对象用于对所述集群进行访问的标识信息;

判断所述访问对象是否已经存在对应的存储路径;

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于成都四方伟业软件股份有限公司,未经成都四方伟业软件股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201910301133.5/2.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code