[发明专利]数据存储方法、数据处理方法、装置、电子设备及计算机可读介质有效

专利信息
申请号: 201910245119.8 申请日: 2019-03-28
公开(公告)号: CN110096227B 公开(公告)日: 2023-04-18
发明(设计)人: 陈钢 申请(专利权)人: 北京奇艺世纪科技有限公司
主分类号: G06F3/06 分类号: G06F3/06;G06F16/901
代理公司: 北京润泽恒知识产权代理有限公司 11319 代理人: 莎日娜
地址: 100080 北京市海淀*** 国省代码: 北京;11
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 数据 存储 方法 数据处理 装置 电子设备 计算机 可读 介质
【说明书】:

本申请实施例公开了数据存储方法、数据处理方法、装置、电子设备及计算机可读介质。所述方法的实施例包括:根据一致性哈希算法,分别为各磁盘分配预设数量的虚拟节点,并将所分配的各虚拟节点和待存储的数据分别映射到哈希环中;基于该数据在该哈希环中的映射位置,确定该哈希环中的至少两个目标虚拟节点;将该数据分别存储至该各目标虚拟节点对应的磁盘中。该实施方式有助于增加逻辑卷的容量。

技术领域

本申请实施例涉及计算机技术领域,具体涉及数据存储方法、数据处理方法、装置、电子设备及计算机可读介质。

背景技术

数据存储,是将数据记录在计算机内部或外部存储介质上的过程。在电子设备本地进行数据存储时,通常将数据存储在电子设备所安装的磁盘中。由于独立的磁盘存储容量有限,通常需要将多块独立的磁盘组织在一起形成逻辑卷,以提高存储性能以及提供数据备份功能。

现有的方式,通常是利用RAID(Redundant Array of Independent Disks,磁盘阵列)技术将多块磁盘组合为逻辑卷(Logical Volume),进而把数据分成多个数据块(Block)并行写入多个磁盘。然而,当某个磁盘故障时,为计算出损坏的磁盘中的数据,这种方式需要读取其他磁盘中的全量数据。由于读写速率等因素的限制,磁盘容量越大,磁盘重建时各磁盘的性能越低。因此,在保证磁盘性能的情况下,利用这种方式形成的逻辑卷,容量通常受到较大限制。

发明内容

本申请实施例提出了数据存储方法、数据处理方法、装置、电子设备及计算机可读介质,以解决现有技术中在保证磁盘性能的同时,无法创建更大容量的逻辑卷的技术问题。

第一方面,本申请实施例提供了一种数据存储方法,该方法包括:根据一致性哈希算法,分别为各磁盘分配一个或多个虚拟节点,并将所分配的各虚拟节点和待存储的数据分别映射到哈希环中,其中,在哈希环中,同一个磁盘的虚拟节点相邻;基于数据在哈希环中的映射位置,确定哈希环中的至少两个目标虚拟节点,其中,各目标虚拟节点对应的磁盘不同;将数据分别存储至各目标虚拟节点对应的磁盘中。

在一些实施例中,基于数据在哈希环中的映射位置,确定哈希环中的至少两个目标虚拟节点,包括:将数据在哈希环中的映射位置作为目标位置,从目标位置起,按照预设的查找方向,在哈希环中查找与目标位置最近的第一虚拟节点;将第一虚拟节点在哈希环中的映射位置作为查找的初始位置,按照查找方向,在哈希环中查找至少一个第二虚拟节点,其中,第一虚拟节点和各第二虚拟节点分别对应不同的磁盘;将第一虚拟节点和第二虚拟节点确定为目标虚拟节点。

在一些实施例中,为各磁盘所分配的虚拟节点的数量等于预设数量;以及将第一虚拟节点在哈希环中的映射位置作为查找的初始位置,按照查找方向,在哈希环中查找至少一个第二虚拟节点,包括:基于预设数量,确定目标间隔数;将第一虚拟节点在哈希环中的映射位置作为查找的起始位置,按照查找方向,并按照目标间隔数,依次在哈希环中查找虚拟节点,将所找到的虚拟节点确定为第二虚拟节点,其中,查找第二虚拟节点的次数等于预设的数据备份数量。

在一些实施例中,在将数据分别存储至各目标虚拟节点对应的磁盘中之后,该方法还包括:将第一虚拟节点对应的磁盘作为存储上述数据的主磁盘,将各第二虚拟节点对应的磁盘分别确定为与主磁盘对应的备份磁盘。

在一些实施例中,该方法还包括:响应于接收到对目标数据的查询请求,根据一致性哈希算法,确定目标数据在哈希环中的目标映射位置;基于目标映射位置,确定哈希环中的待查询虚拟节点;从待查询虚拟节点对应的磁盘中查询目标数据。

在一些实施例中,待查询虚拟节点包括第一待查询虚拟节点和至少一个第二待查询虚拟节点;以及,从待查询虚拟节点对应的磁盘中查询目标数据,包括:将第一待查询虚拟节点对应的磁盘作为存储目标数据的主磁盘,从存储目标数据的主磁盘中查询目标数据;响应于确定未查询到目标数据,将第二待查询虚拟节点对应的磁盘作为存储目标数据的备份磁盘,从存储目标数据的备份磁盘中查询目标数据。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京奇艺世纪科技有限公司,未经北京奇艺世纪科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201910245119.8/2.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top