[发明专利]数据存储方法、数据处理方法、装置、电子设备及计算机可读介质有效
申请号: | 201910245119.8 | 申请日: | 2019-03-28 |
公开(公告)号: | CN110096227B | 公开(公告)日: | 2023-04-18 |
发明(设计)人: | 陈钢 | 申请(专利权)人: | 北京奇艺世纪科技有限公司 |
主分类号: | G06F3/06 | 分类号: | G06F3/06;G06F16/901 |
代理公司: | 北京润泽恒知识产权代理有限公司 11319 | 代理人: | 莎日娜 |
地址: | 100080 北京市海淀*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据 存储 方法 数据处理 装置 电子设备 计算机 可读 介质 | ||
本申请实施例公开了数据存储方法、数据处理方法、装置、电子设备及计算机可读介质。所述方法的实施例包括:根据一致性哈希算法,分别为各磁盘分配预设数量的虚拟节点,并将所分配的各虚拟节点和待存储的数据分别映射到哈希环中;基于该数据在该哈希环中的映射位置,确定该哈希环中的至少两个目标虚拟节点;将该数据分别存储至该各目标虚拟节点对应的磁盘中。该实施方式有助于增加逻辑卷的容量。
技术领域
本申请实施例涉及计算机技术领域,具体涉及数据存储方法、数据处理方法、装置、电子设备及计算机可读介质。
背景技术
数据存储,是将数据记录在计算机内部或外部存储介质上的过程。在电子设备本地进行数据存储时,通常将数据存储在电子设备所安装的磁盘中。由于独立的磁盘存储容量有限,通常需要将多块独立的磁盘组织在一起形成逻辑卷,以提高存储性能以及提供数据备份功能。
现有的方式,通常是利用RAID(Redundant Array of Independent Disks,磁盘阵列)技术将多块磁盘组合为逻辑卷(Logical Volume),进而把数据分成多个数据块(Block)并行写入多个磁盘。然而,当某个磁盘故障时,为计算出损坏的磁盘中的数据,这种方式需要读取其他磁盘中的全量数据。由于读写速率等因素的限制,磁盘容量越大,磁盘重建时各磁盘的性能越低。因此,在保证磁盘性能的情况下,利用这种方式形成的逻辑卷,容量通常受到较大限制。
发明内容
本申请实施例提出了数据存储方法、数据处理方法、装置、电子设备及计算机可读介质,以解决现有技术中在保证磁盘性能的同时,无法创建更大容量的逻辑卷的技术问题。
第一方面,本申请实施例提供了一种数据存储方法,该方法包括:根据一致性哈希算法,分别为各磁盘分配一个或多个虚拟节点,并将所分配的各虚拟节点和待存储的数据分别映射到哈希环中,其中,在哈希环中,同一个磁盘的虚拟节点相邻;基于数据在哈希环中的映射位置,确定哈希环中的至少两个目标虚拟节点,其中,各目标虚拟节点对应的磁盘不同;将数据分别存储至各目标虚拟节点对应的磁盘中。
在一些实施例中,基于数据在哈希环中的映射位置,确定哈希环中的至少两个目标虚拟节点,包括:将数据在哈希环中的映射位置作为目标位置,从目标位置起,按照预设的查找方向,在哈希环中查找与目标位置最近的第一虚拟节点;将第一虚拟节点在哈希环中的映射位置作为查找的初始位置,按照查找方向,在哈希环中查找至少一个第二虚拟节点,其中,第一虚拟节点和各第二虚拟节点分别对应不同的磁盘;将第一虚拟节点和第二虚拟节点确定为目标虚拟节点。
在一些实施例中,为各磁盘所分配的虚拟节点的数量等于预设数量;以及将第一虚拟节点在哈希环中的映射位置作为查找的初始位置,按照查找方向,在哈希环中查找至少一个第二虚拟节点,包括:基于预设数量,确定目标间隔数;将第一虚拟节点在哈希环中的映射位置作为查找的起始位置,按照查找方向,并按照目标间隔数,依次在哈希环中查找虚拟节点,将所找到的虚拟节点确定为第二虚拟节点,其中,查找第二虚拟节点的次数等于预设的数据备份数量。
在一些实施例中,在将数据分别存储至各目标虚拟节点对应的磁盘中之后,该方法还包括:将第一虚拟节点对应的磁盘作为存储上述数据的主磁盘,将各第二虚拟节点对应的磁盘分别确定为与主磁盘对应的备份磁盘。
在一些实施例中,该方法还包括:响应于接收到对目标数据的查询请求,根据一致性哈希算法,确定目标数据在哈希环中的目标映射位置;基于目标映射位置,确定哈希环中的待查询虚拟节点;从待查询虚拟节点对应的磁盘中查询目标数据。
在一些实施例中,待查询虚拟节点包括第一待查询虚拟节点和至少一个第二待查询虚拟节点;以及,从待查询虚拟节点对应的磁盘中查询目标数据,包括:将第一待查询虚拟节点对应的磁盘作为存储目标数据的主磁盘,从存储目标数据的主磁盘中查询目标数据;响应于确定未查询到目标数据,将第二待查询虚拟节点对应的磁盘作为存储目标数据的备份磁盘,从存储目标数据的备份磁盘中查询目标数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京奇艺世纪科技有限公司,未经北京奇艺世纪科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910245119.8/2.html,转载请声明来源钻瓜专利网。
- 上一篇:磁盘阵列部署方法和装置
- 下一篇:数据存储方法、数据存储装置和数据存储系统
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置