[发明专利]一种副本数据恢复方法、系统、电子设备及存储介质在审
申请号: | 202011034112.0 | 申请日: | 2020-09-27 |
公开(公告)号: | CN112162883A | 公开(公告)日: | 2021-01-01 |
发明(设计)人: | 章恩世 | 申请(专利权)人: | 北京浪潮数据技术有限公司 |
主分类号: | G06F11/14 | 分类号: | G06F11/14;G06F16/27 |
代理公司: | 北京集佳知识产权代理有限公司 11227 | 代理人: | 郄晨芳 |
地址: | 100085 北京*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 副本 数据 恢复 方法 系统 电子设备 存储 介质 | ||
1.一种副本数据恢复方法,其特征在于,包括:
将bluestore设置为分布式存储集群的底层数据管理组件;
当所述bluestore执行wal写操作时,向wal数据中添加元数据信息;
当所述bluestore执行大写操作时,生成对象数据的元数据信息;
将添加有所述元数据信息的wal数据和所述对象数据的元数据信息设置为节点log;
在所述分布式存储集群集体掉电并重新上电后,根据所述节点log恢复所述分布式存储集群中所有节点的副本数据。
2.根据权利要求1所述副本数据恢复方法,其特征在于,根据所述节点log恢复所述分布式存储集群中所有节点的副本数据,包括:
确定仲裁节点,并利用所述仲裁节点确定所述分布式存储集群中的已上线节点;
利用所述仲裁节点向所述已上线节点发送节点log收集命令,以便所述已上线节点将所述节点log中的元数据信息传输至所述仲裁节点;
利用所述仲裁节点确定第一类节点和第二类节点;其中,所述第一类节点为存储有所述节点log的节点,所述第二类节点为未存储所述节点log的节点;
向所述第二类节点发送数据拉取指令,以便所述第二类节点从所述第一类节点中拉取数据并恢复副本数据。
3.根据权利要求2所述副本数据恢复方法,其特征在于,在利用所述仲裁节点向已上线节点发送节点log收集命令之前,还包括:
判断所述已上线节点的数量是否大于预设数量;
判断所述仲裁节点的等待时间是否大于预设时间;其中,所述等待时间为所述仲裁节点等待所述分布式存储集群的节点发送上线通知信息的时间;
若所述节点上线数量大于预设数量且所述仲裁节点的等待时间大于预设时间,则执行所述利用所述仲裁节点向已上线的节点发送节点log收集命令的操作。
4.根据权利要求2所述副本数据恢复方法,其特征在于,在利用所述仲裁节点向已上线节点发送节点log收集命令之前,还包括:
判断所述已上线节点的数量是否等于所述分布式存储集群的节点总数;
若是,则执行所述利用所述仲裁节点向已上线的节点发送节点log收集命令的操作。
5.根据权利要求2所述副本数据恢复方法,其特征在于,所述第二类节点从所述第一类节点中拉取数据并恢复副本数据,包括:
若所述第二类节点缺少添加有所述元数据信息的wal数据,则从相应的第一类节点中拉取添加有所述元数据信息的wal数据,并将所述wal数据覆盖至本地以便恢复副本数据;
若所述第二类节点缺少所述对象数据的元数据信息,则从相应的第一类节点中拉取所述对象数据,并将所述对象数据覆盖至本地以便恢复副本数据。
6.根据权利要求1所述副本数据恢复方法,其特征在于,所述元数据信息包括对象ID、偏移量和字节长度。
7.根据权利要求1至6任一项所述副本数据恢复方法,其特征在于,所述wal写操作包括小写操作和/或覆盖写操作;
其中,所述小写操作为所述bluestore对拆分后数据量小于最小block的数据的写入操作,所述大写操作为所述bluestore对拆分后数据量等于最小block整数倍的数据的写入操作。
8.一种副本数据恢复系统,其特征在于,包括:
组件设置模块,用于将bluestore设置为分布式存储集群的底层数据管理组件;
第一元数据生成模块,用于当所述bluestore执行wal写操作时,向wal数据中添加元数据信息;
第二元数据生成模块,用于当所述bluestore执行大写操作时,生成对象数据的元数据信息;
日志设置模块,用于将添加有所述元数据信息的wal数据和所述对象数据的元数据信息设置为节点log;
数据恢复模块,用于在所述分布式存储集群集体掉电并重新上电后,根据所述节点log恢复所述分布式存储集群中所有节点的副本数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京浪潮数据技术有限公司,未经北京浪潮数据技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011034112.0/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置