[发明专利]文件存储方法、文件读取方法和数据存储系统有效
申请号: | 202110048476.2 | 申请日: | 2021-01-27 |
公开(公告)号: | CN112527804B | 公开(公告)日: | 2022-09-16 |
发明(设计)人: | 周智伟;胡旋 | 申请(专利权)人: | 中智关爱通(上海)科技股份有限公司 |
主分类号: | G06F16/22 | 分类号: | G06F16/22 |
代理公司: | 北京市金杜律师事务所 11256 | 代理人: | 王茂华 |
地址: | 200233 上海市*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 文件 存储 方法 读取 数据 存储系统 | ||
1.一种基于日志结构合并树的文件存储方法,包括:
接收与同一对象相关联的多个文件的存储请求;
在内存的第一内存表中保存所述多个文件中的每个文件的第一键-值对,其中所述第一键-值对的第一键字段包括所述对象的标识和所述文件的标识,所述第一键-值对的第一值字段包括所述文件的文件数据;
当所述第一内存表装满时,将所述第一内存表中的数据转移至持久性存储器并且清空所述第一内存表,其中将所述第一内存表中的数据转移至持久性存储器包括:
将所述多个文件中的每个文件的第二键-值对存储在所述持久性存储器中的基于日志结构合并树的第一存储文件中,并且将所述多个文件中的每个文件的第三键-值对顺序存储在第二存储文件中的多个存储单元中,其中所述第二键-值对的第二键字段和所述第三键-值对的第三键字段包括所述对象的标识和所述文件的标识,所述第三键-值对的第三值字段包括所述文件的文件数据,所述第二键-值对的第二值字段包括所述第三键-值对在所述第二存储文件中的存储单元的索引和偏移。
2.如权利要求1所述的方法,其中将所述第一内存表中的数据转移至持久性存储器还包括:确定所述多个文件中的每个文件的第一值字段的大小是否大于第一预定值;以及
如果确定所述多个文件中的一个文件的第一值字段的大小大于所述第一预定值,将所述文件的第二键-值对存储在所述第一存储文件中,并且将所述文件的第三键-值对顺序存储在所述第二存储文件的存储单元中。
3.如权利要求2所述的方法,其中将所述第一内存表中的数据转移至持久性存储器还包括:如果确定所述多个文件中的一个文件的第一值字段的大小小于或等于所述第一预定值,将所述文件的第二键-值对存储在所述第一存储文件中,其中所述第二键-值对的第二键字段包括所述对象的标识和所述文件的标识,所述第二键-值对的第二值字段包括所述文件的文件数据。
4.如权利要求1所述的方法,还包括:
在所述内存的读缓存中保存所述多个文件中的每个文件的第三键-值对。
5.如权利要求2所述的方法,其中将所述第一内存表中的数据转移至持久性存储器还包括:如果确定所述多个文件中的一个文件的第一值字段的大小大于所述第一预定值,确定所述第一值字段的大小是否小于或等于第二预定值,所述第二预定值对应于所述第二存储文件的一个存储单元的容量大小;
如果确定所述第一值字段的大小小于或等于所述第二预定值,将所述文件的第二键-值对存储在所述第一存储文件中,并且所述文件的第三键-值对顺序存储在所述第二存储文件的存储单元中;以及
如果确定所述第一值字段的大小大于所述第二预定值,将所述文件的第二键-值对存储在所述第一存储文件中,其中所述第二键-值对的第二键字段包括所述对象的标识和所述文件的标识,所述第二键-值对的第二值字段包括所述文件的文件数据。
6.一种基于日志结构合并树的文件读取方法,包括:
接收与同一对象相关联的多个文件的读取请求;
确定内存的第一内存表中的第一键-值对中的第一键字段是否包含所述对象的标识;
如果确定所述第一键-值对中的第一键字段不包含所述对象的标识,确定所述内存的读缓存中的第三键-值对的第三键字段是否包含所述对象的标识;
如果确定所述读缓存中的一个或多个第三键-值对的第三键字段包含所述对象的标识,从所述读缓存中预提取所述一个或多个第三键-值对的第三值字段;
如果确定所述读缓存中的第三键-值对的第三键字段都不包含所述对象的标识,确定持久性存储器中的基于日志结构合并树的第一存储文件中的第二键-值对中的第二键字段是否包含所述对象的标识;以及
如果确定所述第二键字段中包含所述对象的标识,基于所述第二键-值对中的第二值字段获取所述多个文件的文件数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中智关爱通(上海)科技股份有限公司,未经中智关爱通(上海)科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110048476.2/1.html,转载请声明来源钻瓜专利网。