[发明专利]一种存放备份数据的分布式存储系统及方法在审
申请号: | 201810967125.X | 申请日: | 2018-08-23 |
公开(公告)号: | CN109284069A | 公开(公告)日: | 2019-01-29 |
发明(设计)人: | 靖尧;王承龙 | 申请(专利权)人: | 郑州云海信息技术有限公司 |
主分类号: | G06F3/06 | 分类号: | G06F3/06;G06F11/14 |
代理公司: | 济南诚智商标专利事务所有限公司 37105 | 代理人: | 王汝银 |
地址: | 450018 河南省郑州市*** | 国省代码: | 河南;41 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 分布式存储系统 存放备份数据 备份数据 分布式存储 备份系统 磁盘设备 存储空间 空间管理 垃圾回收 模拟磁带 数据存放 数据恢复 索引方式 索引管理 文件系统 系统崩溃 系统管理 系统设计 优化备份 冗余 传统的 备份 集群 服务器 并发 数据库 回收 授权 管理 | ||
1.一种存放备份数据的分布式存储系统,其特征在于,包括集群管理节点、元数据管理节点和存储节点;
所述集群管理节点用于提供集群的管理服务,以及元数据管理节点的选举和仲裁;所述集群管理节点的数量为N,其中N≥3;
所述元数据管理节点用于管理整个集群的配置信息并负责元数据管理节点的选举和切换;所述元数据管理节点至少包括主用元数据管理节点和备用数据管理节点;所述主用元数据管理节点管理整个集群的配置信息并负责元数据管理节点的选举和切换;所述备用数据管理节点用于当主用元数据管理节点出现故障时,替代主用元数据管理节点工作;
所述存储节点用于存储备份数据;所述存储节点的数量为M,其中M≥2。
2.根据权利要求1所述的一种存放备份数据的分布式存储系统,其特征在于,所述存储节点的数据存储结构包括元数据管理区、位图和数据管理区;
所述元数据管理区用于存放所有的元数据;所述元数据包括数据块的属性信息;所述数据块用于存放按照硬盘大小64M切块后的备份数据;
所述位图采用表的方式记录所述存储节点上的数据块使用情况;
所述数据管理区用于存放数据块。
3.一种存放备份数据的分布式存储方法,是基于权利要求1所述的一种存放备份数据的分布式存储系统实现,其特征在于,包括:
采用哈希校验的方式进行备份数据的存放校验,备份数据以数据块的方式存放,并将数据块的存放位置记录至元数据,同时将备份数据复制到另外的存储节点作为副本;
采用先按照元数据记录进行散粒组合然后再通过哈希校验的方式进行数据恢复;
采用将获取元数据的过期时间信息,将元数据的过期时间信息与当前系统的时间对比的方式进行备份数据垃圾回收。
4.根据权利要求3所述的一种存放备份数据的分布式存储方法,其特征在于,在所述备份数据的存放、数据恢复以及备份数据垃圾回收之前,还包括原始数据的写入,所述原始数据的写入方法包括以下步骤:
S1:向元数据管理节点发送写入请求;
S2:所述元数据管理节点按照就近原则选择存储节点,将原始数据按照数据块的方式写入所述存储节点;所述数据块是将原始数据切块,切块的大小为64兆,所述数据块的数量=[原始数据的大小(兆)/64(兆)]+1;
S3:所述存储节点将写入的所有数据块的信息进行哈希校验,并将哈希校验值反馈给所述元数据管理节点作为元数据;
S4:所述元数据管理节点接收到从存储节点反馈元数据后,通过散列算法再将数据块进行副本拷贝,并将副本调度到另外存储节点进行存放,待副本数据创建完毕后,将副本数据的信息更新至元数据。
5.根据权利要求3所述的一种存放备份数据的分布式存储方法,其特征在于,所述备份数据的存放的方法包括以下步骤:
计算备份数据的哈希校验值;
将备份数据的哈希校验值和原始数据的哈希校验值进行对比,如果相同,则说明备份数据和原始数据相同,在元数据中增加所述备份数据的版本记录,并将其指向原始数据;
如果不相同,则说明备份数据被修改,在元数据中增加备份数据的版本记录和数据块映射表,并将所述备份数据写入存储节点。
6.根据权利要求5所述的一种存放备份数据的分布式存储方法,其特征在于,所述备份数据的存放方法还包括:
计算备份数据的哈希校验值,将备份数据的哈希校验值和原始数据的哈希校验值进行对比,如果不相同,则说明数据备份时出现错误,将重新备份当前数据。
7.根据权利要求4-6任一项所述的一种存放备份数据的分布式存储方法,其特征在于,
所述备份数据在存储节点中是按照元数据和数据块的方式存放;
所述副本数据在存储节点中是按照元数据和数据块的方式存放。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于郑州云海信息技术有限公司,未经郑州云海信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810967125.X/1.html,转载请声明来源钻瓜专利网。