[发明专利]元数据文件大小恢复方法、系统、装置及可读存储介质有效
申请号: | 201811125459.9 | 申请日: | 2018-09-26 |
公开(公告)号: | CN109241004B | 公开(公告)日: | 2022-02-18 |
发明(设计)人: | 李鹏;罗浩 | 申请(专利权)人: | 郑州云海信息技术有限公司 |
主分类号: | G06F16/16 | 分类号: | G06F16/16;G06F16/182 |
代理公司: | 北京集佳知识产权代理有限公司 11227 | 代理人: | 罗满 |
地址: | 450018 河南省郑州市*** | 国省代码: | 河南;41 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据 文件大小 恢复 方法 系统 装置 可读 存储 介质 | ||
本申请公开了一种元数据文件大小恢复方法、系统、装置及计算机可读存储介质,在发生分布式文件管理系统集群故障后,利用在客户端更新文件时生成的事件记录日志,判断事件记录日志中是否存在用于反映客户端更新文件后未更新元数据的情况的文件更新标记,来得知是哪个文件在更新过程中未能及时更新,再利用文件更新标记生成文件大小查询指令发送至数据管理服务器,以利用数据管理服务器获取目标文件的实际大小信息,得到目标文件的实际大小信息后,便更新目标文件的元数据文件大小信息,从而保证了目标文件的元数据文件大小信息与目标文件的实际大小信息一致,避免了因故障导致的文件数据丢失,提高了分布式文件系统的可靠性和稳定性。
技术领域
本发明涉及分布式文件存储领域,特别涉及一种元数据文件大小恢复方法、系统、装置及计算机可读存储介质。
背景技术
在分布式文件系统集群中,客户端向分布式文件系统集群中的文件更新数据的时候,出于性能考虑,一般是更新数据和更新元数据异步分离,即先将数据更新至数据管理服务器,在更新完后即认为数据已经更新成功,在后续时间里,客户端会使用异步更新元数据的方法,将缓存在内存中的文件的大小等元数据信息更新到元数据管理服务器;但是,异步更新元数据在提升性能的同时也可能导致文件元数据大小不正确的问题,比如数据已经更新到数据管理服务器,但是客户端还没有将新的大小信息更新到元数据管理服务器,客户端所在的节点因发生断电或宕机导致客户端缓存的文件元数据信息永久丢失。
为此,为提高分布式文件系统集群的稳定性和可靠性,需要一种元数据文件大小恢复方法。
发明内容
有鉴于此,本发明的目的在于提供一种元数据文件大小恢复方法、系统、装置及计算机可读存储介质,能够在故障后恢复元数据文件大小,提高分布式文件系统集群的稳定性和可靠性。其具体方案如下:
一种元数据文件大小恢复方法,包括:
判断事件记录日志中是否存在文件更新标记;
如果存在,则利用所述文件更新标记生成文件大小查询指令发送至数据管理服务器,以令所述数据管理服务器得到与所述文件更新标记对应的目标文件的实际大小信息;
接收并利用所述数据管理服务器发送的所述目标文件的实际大小信息,更新所述目标文件的元数据文件大小信息;
其中,所述事件记录日志中的所述文件更新标记为客户端更新所述目标文件时生成的。
可选的,所述利用所述文件更新标记生成文件大小查询指令发送至数据管理服务器的过程,包括:
利用所述文件更新标记中记录的所述目标文件的更新范围区段和与所述目标文件对应的目标iNode,生成所述文件大小查询指令;
将所述文件大小查询指令发送至所述数据管理服务器;
其中,所述目标文件的更新范围区段为所述客户端更新所述目标文件时分配的。
可选的,所述判断事件记录日志中是否存在文件更新标记之前,还包括:
接收所述客户端对所述目标文件的更新请求;
利用所述更新请求,生成一个与所述目标文件对应的所述文件更新标记;
将所述文件更新标记保存至所述事件记录日志中;
发送所述文件更新标记至所述客户端,以允许所述客户端对所述目标文件进行更新。
可选的,所述利用所述更新请求,生成一个与所述目标文件对应的所述文件更新标记的过程,包括:
利用所述更新请求,生成一个与所述目标文件对应的更新范围区段。
本发明还公开了一种元数据文件大小恢复系统,包括:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于郑州云海信息技术有限公司,未经郑州云海信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811125459.9/2.html,转载请声明来源钻瓜专利网。
- 上一篇:文件管理方法和装置
- 下一篇:一种文件管理方法及相关装置
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置