[发明专利]数据存储方法及装置有效
申请号: | 201910301133.5 | 申请日: | 2019-04-15 |
公开(公告)号: | CN109992531B | 公开(公告)日: | 2020-11-10 |
发明(设计)人: | 张永飞;贾金元;杨尧;王诗强 | 申请(专利权)人: | 成都四方伟业软件股份有限公司 |
主分类号: | G06F12/1036 | 分类号: | G06F12/1036;G06F3/06;H04L29/08 |
代理公司: | 北京超凡宏宇专利代理事务所(特殊普通合伙) 11463 | 代理人: | 杨奇松 |
地址: | 610000 四川省*** | 国省代码: | 四川;51 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据 存储 方法 装置 | ||
本申请公开了一种数据存储方法及装置,能够在集群开启高可用的情况下,正常地进行数据存储。本申请应用于集群系统的管理端,其具体方案为:首先获取集群的集群标识以及所述集群中服务节点的访问地址,所述服务节点为该集群中当前执行操作的节点,并将所述集群标识以及所述访问地址的对应关系存储至虚拟解析服务器中;然后在需要存储数据的情况下,接收数据存储请求并从所述存储请求中获取待访问的目标集群的集群标识,再根据目标集群的集群标识,从所述虚拟解析服务器中获取与所述目标集群对应的访问地址,最后根据所述访问地址存储数据。
技术领域
本申请涉及数据存储技术领域,具体而言,涉及一种数据存储方法及装置。
背景技术
在HDFS(Hadoop Distributed File System,分布式文件存储系统)集群中,当集群中没有开启HA时,Hive表存储数据文件的路径为“hdfs://{NameNode主机名}:8020/apps/hive/warehouse/test”,也就是说,Hive表中的存储路径即直接对应活动节点的地址。当集群中开启了HA时,集群中Hive表映射到HDFS的数据文件的路径将变成“hdfs:/{集群名}/apps/hive/warehouse/test”,也就是说,Hive表征的存储路径只能与该集群对应,此时通过Hcatalog方式操作Hive表时,便无法根据集群名获取到当前主节点的地址,也就是说,开启HA时,通过Hcatalog操作的方式无法找到正确的存储路径,这样就会导致操作Hive表时出现异常。
发明内容
为了至少克服现有技术中的上述不足,本申请的目的之一在于提供一种数据存储方法,应用于集群系统的管理端,所述方法包括:
获取集群的集群标识以及所述集群中服务节点的访问地址,所述服务节点为该集群中当前执行操作的节点;
将所述集群标识以及所述访问地址的对应关系存储至虚拟解析服务器中;
接收数据存储请求并从所述存储请求中获取待访问的目标集群的集群标识,所述目标集群为开启高可用的集群;
根据目标集群的集群标识,从所述虚拟解析服务器中获取与所述目标集群对应的访问地址;
根据所述访问地址存储数据。
可选地,所述集群系统的管理端预先存储有节点的识别标识与该节点的访问地址的对应关系,所述获取集群的集群标识以及所述集群中服务节点的访问地址的步骤包括:
获取所述集群的集群标识以及所述服务节点的识别标识,所述识别标识是标识节点的信息;
根据所述识别标识获取所述服务节点的访问地址。
可选地,在获取所述集群的集群标识以及所述服务节点的识别标识的步骤前,所述方法还包括:
判断是否存在集群对应的高可用节点,所述高可用节点为所述集群开启高可用时由管理端建立的节点;
如果存在高可用节点,则执行获取所述集群的集群标识以及所述服务节点的识别标识的步骤;
所述获取所述集群的集群标识以及所述服务节点的识别标识的信息的步骤包括:
获取与所述高可用节点对应的集群的集群标识;
从所述高可用节点的叶子节点实时获取服务节点的识别标识。
可选地,所述集群系统的管理端中配置有Zookeeper组件。
可选地,所述根据所述访问地址存储数据的步骤包括:
获取所述目标集群对应的访问对象,所述访问对象用于对所述集群进行访问的标识信息;
判断所述访问对象是否已经存在对应的存储路径;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于成都四方伟业软件股份有限公司,未经成都四方伟业软件股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910301133.5/2.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置