[发明专利]数据恢复方法、装置、电子设备和介质有效
申请号: | 202010153076.3 | 申请日: | 2020-03-06 |
公开(公告)号: | CN111414277B | 公开(公告)日: | 2023-10-20 |
发明(设计)人: | 於圣楠;李宇彬;周彩冬;胡志鹏;刘柏;李仁杰;范长杰 | 申请(专利权)人: | 网易(杭州)网络有限公司 |
主分类号: | G06F11/14 | 分类号: | G06F11/14 |
代理公司: | 北京超成律师事务所 11646 | 代理人: | 吴迪 |
地址: | 310052 浙江省杭州*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据 恢复 方法 装置 电子设备 介质 | ||
1.一种数据恢复方法,其特征在于,作用于下游文件系统,该方法包括:
在接收到上游计算系统所发出关于目标压缩文件的压缩数据后,将压缩数据保存在本地缓存中;
在发生故障而重启后,获取上游计算系统持久化在存储系统中的关于目标压缩文件的数据格式信息和有效传输长度;
根据数据格式信息和有效传输长度对目标压缩文件进行恢复。
2.根据权利要求1所述的方法,其特征在于,根据数据格式信息和有效传输长度对目标压缩文件进行恢复,包括:
根据有效数据长度和记录的所述压缩数据的到达顺序对所述压缩数据进行截断处理,以生成有效压缩数据;
根据数据格式信息生成目标压缩文件的文件尾;
根据所述有效压缩数据和所述文件尾对所述目标压缩文件进行恢复。
3.根据权利要求1所述的方法,其特征在于,根据数据格式信息生成目标压缩文件的文件尾,包括:
根据上游计算系统持久化在存储系统中的关于目标压缩文件的文件头确定目标压缩文件的文件类型;
根据所述文件类型确定文件尾拼接方式;
根据确定的文件尾拼接方式和数据格式信息生成目标压缩文件的文件尾。
4.根据权利要求1所述的方法,其特征在于,若文件类型为PDF类型;则数据格式信息包括交叉引用表、根节点信息和文件解析节点信息;根据确定的文件尾拼接方式和数据格式信息生成目标压缩文件的文件尾,包括:
将持久化在存储系统中的交叉引用表、根节点信息和文件解析节点信息按照预定顺序进行拼接,以形成所述目标压缩文件的文件尾。
5.根据权利要求1所述的方法,其特征在于,若文件类型为Gzip类型;则数据格式信息包括校验码;根据确定的文件尾生成方式和数据格式信息生成目标压缩文件的文件尾,包括:
对有效传输长度进行取模运算,以确定压缩数据的标识符;
将所述校验码和所述标识符拼接成所述目标压缩文件的文件尾。
6.根据权利要求1所述的方法,其特征在于,根据数据格式信息和有效传输长度对目标压缩文件进行恢复,包括:
将保存在本地缓存中的压缩数据进行分组,以得到多组子压缩数据;
针对每组子压缩数据,将该组子压缩数据发送给对应的分布式计算节点,以使分布式计算节点根据接收到的有效传输长度对该组子压缩数据进行截断,以得到有效子压缩数据,并根据数据格式信息生成该组子压缩数据的子文件尾,以及将根据所述有效子压缩数据和所述子文件尾恢复出子压缩文件;
根据分布式计算节点所返回的子压缩文件对所述目标压缩文件进行恢复。
7.根据权利要求6所述的方法,其特征在于,针对每组子压缩数据,将该组子压缩数据发送给对应的分布式计算节点,包括:
获取每个分布式计算节点的当前负载程度;
根据所述当前负载程度,确定每组子压缩数据所对应的分布式计算节点;
针对每组子压缩数据,将该组子压缩数据发送给对应的分布式计算节点。
8.根据权利要求1所述的方法,其特征在于,还包括:
接收应用系统所发出的关于目标压缩文件的数据读取请求;
判断是否发送过关于目标压缩文件的确认指令的第一告知消息;所述确认指令是上游计算系统在将目标压缩文件传输完成后发送给下游文件系统的;所述第一告知消息是下游文件系统在接收到确认指令后生成,并发送给上游计算系统的;
若发送过所述第一告知消息,则将目标压缩文件发送给应用系统。
9.根据权利要求1所述的方法,其特征在于,还包括:
接收应用系统所发出的关于目标压缩文件的数据读取请求;
判断是否发送过第二告知消息;所述第二告知消息是下游文件系统在将目标压缩文件成功恢复后生成,并发送给上游计算系统的;
若发送过所述第二告知消息,则将目标压缩文件发送给应用系统。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于网易(杭州)网络有限公司,未经网易(杭州)网络有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010153076.3/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置