[发明专利]数据处理方法、装置、存储介质以及处理器有效
申请号: | 201811152247.X | 申请日: | 2018-09-29 |
公开(公告)号: | CN110968255B | 公开(公告)日: | 2023-05-02 |
发明(设计)人: | 赵亚飞;董元元;魏舒展;庄灿伟 | 申请(专利权)人: | 阿里巴巴集团控股有限公司 |
主分类号: | G06F3/06 | 分类号: | G06F3/06 |
代理公司: | 北京博浩百睿知识产权代理有限责任公司 11134 | 代理人: | 褚敏;宋子良 |
地址: | 英属开曼群岛大开*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 装置 存储 介质 以及 处理器 | ||
1.一种数据处理方法,其特征在于,包括:
接收待写入数据;
将所述待写入数据进行分片处理,得到多个分片数据;
将所述多个分片数据分布存储于多个编码块中,并在所述多个编码块中的一个编码块的填充区存储所述多个分片数据的存储信息,其中,编码块为采用纠删码方式存储数据的编码过程中待编码的数据块;
其中,所述存储信息包括以下至少之一:所述多个分片数据的数量,所述多个分片数据中的各个分片数据在对应编码块中的数据偏移地址,以及对应的数据大小。
2.根据权利要求1所述的方法,其特征在于,将所述多个分片数据分布存储于多个编码块中,并在所述多个编码块中的一个编码块的填充区存储所述多个分片数据的存储信息包括:
将所述多个分片数据按照顺序分布存储于所述多个编码块中;
在按照所述顺序分布存储所述多个分片数据的最后一个编码块的填充区存储所述多个分片数据的存储信息。
3.根据权利要求1至2中任一项所述的方法,其特征在于,还包括:在所述编码块的尾部设置标识信息,其中,所述标识信息用于标识所述存储信息所在的编码块。
4.根据权利要求3所述的方法,其特征在于,所述标识信息包括:第一标识信息和第二标识信息,其中,所述第一标识信息设置在存储有所述多个分片数据的存储信息的编码块的尾部,用于标识所述编码块中存储有所述多个分片数据的存储信息;所述第二标识信息设置在未存储有所述多个分片数据的存储信息的编码块的尾部,用于标识存储有所述多个分片数据的存储信息的编码块。
5.一种数据处理方法,其特征在于,包括:
接收数据读请求;
响应于所述数据读请求,确定存储待读取数据的存储信息的编码块,其中,所述待读取数据被划分为多个分片数据,并分布存储于多个编码块中,编码块为采用纠删码方式存储数据的编码过程中待编码的数据块;
从所述编码块的填充区读取所述多个分片数据的存储信息,并依据所述存储信息读取数据;
其中,所述存储信息包括以下至少之一:所述多个分片数据的数量,所述多个分片数据中的各个分片数据在对应编码块中的数据偏移地址,以及对应的数据大小。
6.根据权利要求5所述的方法,其特征在于,确定存储待读取数据的存储信息的编码块包括:
读取所述多个编码块尾部的标识信息,其中,所述标识信息用于标识所述存储信息所在的编码块;
根据所述标识信息,确定存储所述待读取数据的存储信息的编码块。
7.根据权利要求5所述的方法,其特征在于,确定存储待读取数据的存储信息的编码块包括:
在所述多个分片数据是按照顺序分布存储于所述多个编码块中的情况下,确定存储所述多个分片数据的最后一个编码块,并将所述最后一个编码块确定为存储所述存储信息的编码块。
8.根据权利要求5至7中任一项所述的方法,其特征在于,还包括:
在数据读取发生异常的情况下,依据从所述编码块的填充区读取的存储信息重建数据读写映射表,其中,所述数据读写映射表包括以下至少之一:所述多个分片数据中的各个分片数据在对应编码块中的数据偏移地址,以及对应的数据大小,及填充数据大小。
9.一种数据处理装置,其特征在于,包括:
第一接收模块,用于接收待写入数据;
分片模块,用于将所述待写入数据进行分片处理,得到多个分片数据;
存储模块,用于将所述多个分片数据分布存储于多个编码块中,并在所述多个编码块中的一个编码块的填充区存储所述多个分片数据的存储信息,其中,编码块为采用纠删码方式存储数据的编码过程中待编码的数据块;
其中,所述存储信息包括以下至少之一:所述多个分片数据的数量,所述多个分片数据中的各个分片数据在对应编码块中的数据偏移地址,以及对应的数据大小。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里巴巴集团控股有限公司,未经阿里巴巴集团控股有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811152247.X/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种组网方式
- 下一篇:人参稀有皂苷组合物及其制备方法和应用