[发明专利]数据处理方法、系统和电子设备有效
申请号: | 201810608271.3 | 申请日: | 2018-06-13 |
公开(公告)号: | CN110659251B | 公开(公告)日: | 2023-03-21 |
发明(设计)人: | 石超;张小路;张乐 | 申请(专利权)人: | 阿里巴巴集团控股有限公司 |
主分类号: | G06F16/16 | 分类号: | G06F16/16;G06F16/17;G06F16/18;G06F11/14 |
代理公司: | 北京同钧律师事务所 16037 | 代理人: | 许怀远 |
地址: | 英属开曼群岛大开*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 系统 电子设备 | ||
1.一种数据处理方法,应用于存储系统,所述存储系统使用N个文件系统存储数据,N为大于或等于2的正整数,所述方法包括:
接收用户的访问请求;
获取可用数据文件集合;
基于所述可用数据文件集合,确定所述N个文件系统中的数据文件中的目标数据文件;
将所述访问请求相关的目标数据写入所述目标数据文件;
其中,所述获取可用数据文件集合,包括:
若成功查询到所述N个文件系统中的至少R个文件系统中的清单文件,则获取所述至少R个文件系统中的第二清单文件,所述第二清单文件中包括接收到用户的访问请求之前所述N个文件系统中的所有数据文件的标识信息和路径信息,W和R的和大于N,且R小于N;
根据所述第二清单文件,确定所述可用数据文件集合。
2.根据权利要求1所述的方法,所述基于所述可用数据文件集合,确定所述目标数据文件,包括:
若所述可用数据文件集合为空,则从所述N个文件系统中的可用文件系统中选择第一文件系统,并在所述第一文件系统上创建第一数据文件;
将所述第一数据文件确定为所述目标数据文件。
3.根据权利要求2所述的方法,在将所述访问请求相关的目标数据写入所述目标数据文件之前,所述方法还包括:
生成第一清单文件,所述第一清单文件中包括在创建所述第一数据文件之后所述N个文件系统中的所有数据文件的标识信息和路径信息;
将所述第一清单文件写入所述N个文件系统中的至少一个文件系统。
4.根据权利要求3所述的方法,所述将所述访问请求相关的目标数据写入所述目标数据文件,包括:
若成功将所述第一清单文件写入所述N个文件系统中的至少W个文件系统,则将所述目标数据写入所述第一数据文件,W为大于或等于1的正整数,且W小于N。
5.根据权利要求1所述的方法,所述N个文件系统中的清单文件的文件名中包括编号,编号的大小用于表征清单文件的写入时间顺序,对应的编号最大的清单文件的写入时间最晚,对应的编号最小的清单文件的写入时间最早,所述第二清单文件为所述R个文件系统中对应的编号最大的清单文件;
其中,在获取所述至少R个文件系统中的第二清单文件之前,还包括:
根据所述R个文件系统中的清单文件的文件名中的编号的大小,确定所述第二清单文件。
6.根据权利要求1所述的方法,根据所述第二清单文件,确定所述可用数据文件集合,包括:
若根据所述第二清单文件,判断存在所在的文件系统未出现故障的数据文件,则将所述所在的文件系统未出现故障的数据文件组成的集合确定为所述可用数据文件集合。
7.根据权利要求4至6中任一项所述的方法,所述方法还包括:
若确定将目标数据文件由所述N个文件系统中的第三文件系统迁移到所述N个文件系统中的第四文件系统,则将所述目标数据文件复制到所述第四文件系统中;
若成功将所述目标数据文件复制到所述第四文件系统中,则生成第三清单文件;
若成功将所述第三清单文件写入所述N个文件系统中的至少W个文件系统,则从所述第三文件系统上删除所述目标数据文件。
8.根据权利要求1至6中任一项所述的方法,从N个文件系统中的可用文件系统中选择第一文件系统,包括:
根据所述可用文件系统的预设优先级选择所述第一文件系统;或,
根据所述可用文件系统的可用存储空间的大小选择所述第一文件系统。
9.根据权利要求1所述的方法,所述基于所述可用数据文件集合,确定所述目标数据文件,包括:
若所述可用数据文件集合不为空,则将所述可用数据文件集合中的一个数据文件确定为所述目标数据文件。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里巴巴集团控股有限公司,未经阿里巴巴集团控股有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810608271.3/1.html,转载请声明来源钻瓜专利网。
- 上一篇:文件处理方法和系统
- 下一篇:基于云的生物信息数据交付方法、装置和电子设备