[发明专利]一种数据逻辑位置映射方法有效
申请号: | 202010094478.0 | 申请日: | 2020-02-16 |
公开(公告)号: | CN111338568B | 公开(公告)日: | 2020-11-06 |
发明(设计)人: | 陈鹏;刘洋;刘露 | 申请(专利权)人: | 西安奥卡云数据科技有限公司 |
主分类号: | G06F3/06 | 分类号: | G06F3/06;G06F16/11 |
代理公司: | 西安维赛恩专利代理事务所(普通合伙) 61257 | 代理人: | 李明全 |
地址: | 712000 陕西省西*** | 国省代码: | 陕西;61 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据 逻辑 位置 映射 方法 | ||
本发明公开了一种数据逻辑位置映射方法,将每个逻辑卷分成多个相同空间大小的逻辑节点;将待存储数据对象的数据摘要值依次存储至每个逻辑节点中;根据每个存储有数据摘要值的逻辑节点生成该节点的节点摘要值;填充上层父节点:将相邻的n个存储有数据摘要值的逻辑节点的节点摘要值填充至一个空的逻辑节点,将填充后的逻辑节点作为该n个存储有数据摘要值的逻辑节点的上层父节点;重复执行填充上层父节点步骤,直至生成的上层父节点的数量为1个,生成数据逻辑位置对应关系;本发明通过巧妙地安排元数据组织方式,使得元数据本身也可以被精简配置以及重复删除,提高了空间利用率以及运行效率。
【技术领域】
本发明属于计算机数据存储技术领域,尤其涉及一种数据逻辑位置映射方法。
【背景技术】
随着大数据时代的降临,业务应用对存储空间的需求越来越大,性能越来越高。海量的数据对存储的要求已经远远超出了传统的多控存储系统所能承受的范围。没有哪一套单机的存储能够提供如此大的数据存储能力。存储系统正在向着大规模、分布式、虚拟化方向发展。
分布式存储空间的管理,是通过某种手段或者软件将分散在多个服务器节点上的零散硬盘空间组织到一起,组成一个逻辑上连续的大型储存空间。然后,由多台存储服务器相互协作,给用户呈现一个统一的、虚拟的单一空间视图。
从成本和性能等的多方面考虑,目前的分布式存储往往会使用许多台廉价的商用硬件,在其上安装一层软件管理系统,作为一套统一的系统对外提供存储服务。
已有的解决方案比如开源的CEPH,以及EMC和NETAPP的相关存储产品,均提供存储虚拟化和分布式管理的功能。
CEPH提供分布式对象存储和块存储,以及文件系统的功能。但CEPH的实现中缺失重复数据删除这一环节,导致空间利用率不高。若使用复杂的跨节点纠删码,可以适当提升其空间利用率。但是,由于其纠删码实现过程的复杂性,导致性能降低,故障率上升。
EMC和NETAPP的相关产品虽然提供了全局重复数据删除的功能,但由于其在元数据管理的设计上的不足,导致其元数据本身无法被重删和精简,使得存储空间使用并不高效。
由上述可知,现有技术的缺点在于要么根本无法对存储中的数据进行重复删除,要么对元数据部分无法进行精简配置和重复数据删除。同时,将元数据和用户数据区别对待,导致软件逻辑变得十分复杂,规模更庞大,增加了出错的几率,降低了运行的效率。
【发明内容】
本发明的目的是提供一种数据逻辑位置映射方法,以对分布式存储的元数据进行有效的管理,实现元数据本身的精简配置和重复数据删除。
本发明采用以下技术方案:一种数据逻辑位置映射方法,包括:
将每个逻辑卷分成多个相同空间大小的逻辑节点;其中,b=n*a,b为每个逻辑节点的空间大小,n为正整数,a为数据对象的数据摘要值所占用的空间大小;
将待存储数据对象的数据摘要值依次存储至每个逻辑节点中;
根据每个存储有数据摘要值的逻辑节点生成该节点的节点摘要值;
填充上层父节点:将相邻的n个存储有数据摘要值的逻辑节点的节点摘要值填充至一个空的逻辑节点,将填充后的逻辑节点作为该n个存储有数据摘要值的逻辑节点的上层父节点;
重复执行填充上层父节点步骤,直至生成的上层父节点的数量为1个,将该上层父节点作为根节点,生成数据逻辑位置对应关系。
进一步地,当需要对逻辑卷进行克隆或快照时,提取根节点的节点摘要值,生成克隆或快照的逻辑卷。
进一步地,生成克隆或快照的逻辑卷还包括将每个节点摘要值的引用计数加1。
进一步地,在未填充数据摘要值或节点摘要值的逻辑节点中,引用全零对象。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于西安奥卡云数据科技有限公司,未经西安奥卡云数据科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010094478.0/2.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置