[发明专利]一种数据存储方法及装置在审
申请号: | 201911032353.9 | 申请日: | 2019-10-28 |
公开(公告)号: | CN112732826A | 公开(公告)日: | 2021-04-30 |
发明(设计)人: | 夏亮;许俊滔;黄仝宇;汪刚 | 申请(专利权)人: | 高新兴科技集团股份有限公司 |
主分类号: | G06F16/27 | 分类号: | G06F16/27;G06F16/22 |
代理公司: | 广州国鹏知识产权代理事务所(普通合伙) 44511 | 代理人: | 宁尚国 |
地址: | 510530 广东省广州*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据 存储 方法 装置 | ||
1.一种数据存储方法,其特征在于,包括:
将数据通过交互节点发送至集群,其中,所述交互节点至少包含两个,所述集群包含与所述交互节点对应且数量相等的分片;
根据所述交互节点的分布和所述分片的分布,分节点地进行数据存储。
2.根据权利要求1所述的数据存储方法,其特征在于,所述交互节点为路由节点。
3.根据权利要求1所述的数据存储方法,其特征在于,所述分片包含一个主节点、至少一个从节点、一个选举节点;数据通过所述交互节点发送至所述分片后;
由所述主节点进行数据写入;
由所述从节点对所述主节点写入的数据进行同步,并负责数据查询;当存在两个或两个以上所述从节点时,为减轻主节点的io压力,将多于一个的其他从节点设置为延时同步所述主节点写入的数据;
由所述选择节点,对所述主节点状态进行判断,当所述主节点宕机时,唤起一个所述从节点作为新的节点。
4.根据权利要求1所述的数据存储方法,其特征在于,还包括:
通过若干管理节点对集群元数据进行节点化管理,所述管理节点至少包含一个;以及,
通过所述管理节点记录每个节点以及每个节点之间相互关系、数据库、表的信息,对数据在分片之间迁移的历史记录进行保存。
5.根据权利要求4所述的数据存储方法,其特征在于,所述节点化管理具体包括:
数据通过所述交互节点发送至所述分片前,通过所述管理节点将数据分发至不同的分片;
当所述分片发生改变时,通过所述管理节点,改变所述交互节点分发目标分片。
6.根据权利要求4所述的数据存储方法,其特征在于,通过字段设定片键策略对所述分片历史记录进行判断。
7.根据权利要求1-6任一所述的数据存储方法,其特征在于,所述数据存储方法基于NoSQL数据库。
8.一种数据存储装置,其特征在于,包括:
数据分散模块,用于将数据通过交互节点发送至集群,其中,所述交互节点至少包含两个,所述集群包含与所述交互节点对应且数量相等的分片;
交集运算模块,用于根据所述交互节点的分布和所述分片的分布,分节点地进行数据存储。
9.根据权利要求8所述的数据存储装置,其特征在于,所述交互节点由路由器构成。
10.根据权利要求8所述的数据存储装置,其特征在于,所述分片由一个主节点、至少一个从节点、一个选举节点构成;
所述主节点,用于数据写入;
所述从节点,用于对所述主节点写入的数据进行同步,并用于数据查询;当存在两个或两个以上所述从节点时,能够将多于一个的其他从节点设置为延时同步所述主节点写入的数据,用于减轻主节点的io压力;
所述选择节点,用于对所述主节点状态进行判断,当所述主节点宕机时,唤起一个所述从节点作为新的节点。
11.根据权利要求8所述的数据存储装置,其特征在于,还包括:
节点管理模块,用于对集群元数据进行节点化管理,所述节点管理模块至少包含一个管理节点;所述管理节点,用于记录每个节点以及每个节点之间相互关系、数据库、表的信息,对数据在分片之间迁移的历史记录进行保存。
12.根据权利要求11所述的数据存储方法,其特征在于,数据通过所述交互节点发送至所述分片前,所述节点管理模块用于将数据分发至不同的分片;
当所述分片发生改变时,所述节点管理模块用于改变所述交互节点分发目标分片。
13.根据权利要求11所述的数据存储装置,其特征在于,还包括分片判断模块,通过字段设定片键策略用于对所述分片历史记录进行判断。
14.根据权利要求8-13任一所述的数据存储装置,其特征在于,所述数据存储装置基于NoSQL数据库。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于高新兴科技集团股份有限公司,未经高新兴科技集团股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911032353.9/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置