[发明专利]一种数据分块存储方法、装置及电子设备在审
申请号: | 201910511095.6 | 申请日: | 2019-06-13 |
公开(公告)号: | CN110377227A | 公开(公告)日: | 2019-10-25 |
发明(设计)人: | 阳振坤;赵裕众 | 申请(专利权)人: | 阿里巴巴集团控股有限公司 |
主分类号: | G06F3/06 | 分类号: | G06F3/06 |
代理公司: | 北京众达德权知识产权代理有限公司 11570 | 代理人: | 刘杰 |
地址: | 英属开曼群岛大开*** | 国省代码: | 开曼群岛;KY |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本说明书实施例提供一种数据分块存储方法,应用于采用LSM树的数据库,LSM树中第0层中的数据按数据宏块组织,LSM树中数据由上层转移至下层转储时,以数据宏块形式转储至低层,使得LSM树中各层均按数据宏块形式组织,进而,在进行层与层之间的数据合并时,可以以数据宏块的方式进行合并,可以避免对整层数据进行集体重写,能有效减少磁盘IO和临时空间消耗。并且,由于每个数据宏块中包括多个变长的数据微块,数据可以以更紧凑的方式存储在存储空间中,对于空间的浪费非常小,能充分利用各层的存储空间。 | ||
搜索关键词: | 数据宏块 数据分块存储 存储空间 转储 装置及电子设备 临时空间 数据合并 形式组织 有效减少 磁盘IO 低层 微块 重写 下层 紧凑 数据库 存储 上层 消耗 合并 应用 | ||
【主权项】:
1.一种数据分块存储方法,应用于采用LSM树的数据库,所述LSM树采用N层数据结构,第i层的存储空间小于第i+1层的存储空间,i包含0至N‑1的整数,所述方法包括:通过如下步骤在所述LSM树的第0层写满多个数据宏块:按数据顺序获得内存中M条有序数据,并对所述M条有序数据进行压缩,获得数据微块,M为大于0的整数;将所述数据微块追加至第0层中的当前数据宏块,直至所述当前数据宏块的大小达到预设数值,将下一个形成的数据微块写入下一个数据宏块。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里巴巴集团控股有限公司,未经阿里巴巴集团控股有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201910511095.6/,转载请声明来源钻瓜专利网。