[发明专利]数据存储方法、数据处理方法、装置、电子设备及计算机可读介质有效
申请号: | 201910245119.8 | 申请日: | 2019-03-28 |
公开(公告)号: | CN110096227B | 公开(公告)日: | 2023-04-18 |
发明(设计)人: | 陈钢 | 申请(专利权)人: | 北京奇艺世纪科技有限公司 |
主分类号: | G06F3/06 | 分类号: | G06F3/06;G06F16/901 |
代理公司: | 北京润泽恒知识产权代理有限公司 11319 | 代理人: | 莎日娜 |
地址: | 100080 北京市海淀*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据 存储 方法 数据处理 装置 电子设备 计算机 可读 介质 | ||
1.一种数据存储方法,其特征在于,包括:
根据一致性哈希算法,分别为各磁盘分配预设数量的虚拟节点,并将所分配的各虚拟节点和待存储的数据分别映射到哈希环中,其中,在所述哈希环中,同一个磁盘的虚拟节点相邻,且为所述各磁盘分配的虚拟节点的数量相同;
基于所述数据在所述哈希环中的映射位置,确定所述哈希环中的至少两个目标虚拟节点,所述目标虚拟节点包括第一虚拟节点和至少一个第二虚拟节点,其中,各目标虚拟节点对应的磁盘不同;
将所述数据分别存储至所述各目标虚拟节点对应的磁盘中;其中,将所述第一虚拟节点对应的磁盘作为存储所述数据的主磁盘,将各第二虚拟节点对应的磁盘分别确定为与所述主磁盘对应的备份磁盘;所述主磁盘进行一部分数据的存储,同时,也作为其他一个或多个磁盘的备份磁盘,进行另一部分数据的备份。
2.根据权利要求1所述的数据存储方法,其特征在于,所述基于所述数据在所述哈希环中的映射位置,确定所述哈希环中的至少两个目标虚拟节点,包括:
将所述数据在所述哈希环中的映射位置作为目标位置,从所述目标位置起,按照预设的查找方向,在所述哈希环中查找与目标位置最近的第一虚拟节点;
将所述第一虚拟节点在所述哈希环中的映射位置作为查找的初始位置,按照所述查找方向,在所述哈希环中查找至少一个第二虚拟节点,其中,所述第一虚拟节点和各第二虚拟节点分别对应不同的磁盘;
将所述第一虚拟节点和所述第二虚拟节点确定为目标虚拟节点。
3.根据权利要求2所述的数据存储方法,其特征在于,
所述将所述第一虚拟节点在所述哈希环中的映射位置作为查找的初始位置,按照所述查找方向,在所述哈希环中查找至少一个第二虚拟节点,包括:
基于所述预设数量,确定目标间隔数;
将所述第一虚拟节点在所述哈希环中的映射位置作为查找的起始位置,按照所述查找方向,并按照所述目标间隔数,依次在所述哈希环中查找虚拟节点,将所找到的虚拟节点确定为第二虚拟节点,其中,查找第二虚拟节点的次数等于预设的数据备份数量。
4.根据权利要求1所述的数据存储方法,其特征在于,所述方法还包括:
响应于接收到对目标数据的查询请求,根据所述一致性哈希算法,确定所述目标数据在所述哈希环中的目标映射位置;
基于所述目标映射位置,确定所述哈希环中的待查询虚拟节点;
从所述待查询虚拟节点对应的磁盘中查询所述目标数据。
5.根据权利要求4所述的数据存储方法,其特征在于,所述待查询虚拟节点包括第一待查询虚拟节点和至少一个第二待查询虚拟节点;以及,
所述从所述待查询虚拟节点对应的磁盘中查询所述目标数据,包括:
将所述第一待查询虚拟节点对应的磁盘作为存储所述目标数据的主磁盘,从所述存储所述目标数据的主磁盘中查询所述目标数据;
响应于确定未查询到所述目标数据,将所述第二待查询虚拟节点对应的磁盘作为存储所述目标数据的备份磁盘,从所述存储所述目标数据的备份磁盘中查询所述目标数据。
6.一种数据存储装置,其特征在于,包括:
映射单元,被配置成根据一致性哈希算法,分别为各磁盘分配预设数量的虚拟节点,并将所分配的各虚拟节点和待存储的数据分别映射到哈希环中,其中,在所述哈希环中,同一个磁盘的虚拟节点相邻,且所述各磁盘的虚拟节点数量相同;
第一确定单元,被配置成基于所述数据在所述哈希环中的映射位置,确定所述哈希环中的至少两个目标虚拟节点,所述目标虚拟节点包括第一虚拟节点和至少一个第二虚拟节点,其中,各目标虚拟节点对应的磁盘不同;
存储单元,被配置成将所述数据分别存储至所述各目标虚拟节点对应的磁盘中;其中,第二确定单元,被配置成将所述第一虚拟节点对应的磁盘作为存储所述数据的主磁盘,将各第二虚拟节点对应的磁盘分别确定为与所述主磁盘对应的备份磁盘;所述主磁盘进行一部分数据的存储,同时,也作为其他一个或多个磁盘的备份磁盘,进行另一部分数据的备份。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京奇艺世纪科技有限公司,未经北京奇艺世纪科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910245119.8/1.html,转载请声明来源钻瓜专利网。
- 上一篇:磁盘阵列部署方法和装置
- 下一篇:数据存储方法、数据存储装置和数据存储系统
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置