[发明专利]一种数据存储方法、数据读取方法、装置及电子设备在审
申请号: | 202310047803.1 | 申请日: | 2023-01-31 |
公开(公告)号: | CN116049144A | 公开(公告)日: | 2023-05-02 |
发明(设计)人: | 陈永旺 | 申请(专利权)人: | 北京奇艺世纪科技有限公司 |
主分类号: | G06F16/21 | 分类号: | G06F16/21;G06F16/22;G06F16/27 |
代理公司: | 北京柏杉松知识产权代理事务所(普通合伙) 11413 | 代理人: | 李冬;孟维娜 |
地址: | 100080 北京市海淀区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据 存储 方法 读取 装置 电子设备 | ||
本发明实施例提供了一种数据存储方法、数据读取方法、装置及电子设备,涉及计算机技术领域。方法包括:接收到待迁移数据后,从待迁移数据的元数据信息中获取待迁移数据的待迁移数据标识,按照预设的哈希算法计算待迁移数据标识的目标哈希值;根据预设的哈希值与第一数据库的第一对应关系,从存储系统中的多个第一数据库中确定目标哈希值对应的第一数据库,作为第一待存储数据库;将待迁移数据存储至第一待存储数据库中;根据预设的哈希值与第二数据库的第二对应关系,从存储系统中的多个第二数据库中确定目标哈希值对应的第二数据库,作为第二待存储数据库;将待迁移数据存储至第二待存储数据库中。应用本发明实施例,可以提高数据存储的效率。
技术领域
本发明涉及计算机技术领域,特别是涉及一种数据存储方法、数据读取方法、装置及电子设备。
背景技术
随着互联网业务的不断增加,以及大数据业务的发展,会产生越来越多的数据需要进行存储,如何将数以千亿或万亿计的数据采用安全高效且低成本的方式存储起来便成了业界难题。由于数据以二进制方式存储在计算机的磁盘中,并且计算机的磁盘受到物理限制无法提供足够大的存储空间,因此,可以采用分布式存储方式对数据进行存储,在分布式存储中即能够满足互联网需求,又能存储大量数据的存储方式当属对象存储服务(英文:Distributed Object Storage Service,简称:OSS)。
对象存储是指将数据按照KV(Key-Value,键值对)的方式,存储至分布式的存储系统中,其中,Value表示数据,Key表示数据的索引。具体的,将数据存储至分布式对象存储系统中的数据存储系统,以及将数据的索引(例如,数据的大小、存储位置、存储时间、唯一标识、数据类型等)存储至索引存储系统。现有技术中,在索引存储系统中存储索引时,针对索引存储系统中的每一数据库,计算该数据库的数据库标识的哈希值,得到多个哈希值。根据多个数据库各自对应的哈希值,确定出与需要存储的索引相匹配的数据库,得到用于存储该索引的数据,然后在确定出的数据库中存储该索引。
然而,索引存储系统的数据量级较大,例如,索引存储系统中存储了数以千亿或万亿计的数据,则索引存储系统中的数据库较多,例如索引存储系统中可能有上万个数据库,若每次在索引存储系统中存储索引时,均计算每一数据库的哈希值,则所需的时间较长,进而,导致索引存储的效率较低。
发明内容
本发明实施例的目的在于提供一种数据存储方法、数据读取方法、装置及电子设备,以提高数据存储的效率。具体技术方案如下:
在本发明实施的第一方面,首先提供了一种数据存储方法,所述方法包括:
在接收到待迁移数据后,从所述待迁移数据的元数据信息中,获取所述待迁移数据的待迁移数据标识,按照预设的哈希算法,计算所述待迁移数据标识的目标哈希值;其中,所述待迁移数据标识表示所述待迁移数据的存储路径;
根据预设的哈希值与第一数据库的第一对应关系,从存储系统中的多个第一数据库中,确定所述目标哈希值对应的第一数据库,作为第一待存储数据库;
将所述待迁移数据存储至所述第一待存储数据库中;
根据预设的哈希值与第二数据库的第二对应关系,从存储系统中的多个第二数据库中,确定所述目标哈希值对应的第二数据库,作为第二待存储数据库;其中,从所述第二数据库获取数据的速度大于从所述第一数据库获取数据的速度
将所述待迁移数据存储至所述第二待存储数据库中。
可选的,所述根据预设的哈希值与第一数据库的第一对应关系,从存储系统中的多个第一数据库中,确定所述目标哈希值对应的第一数据库,作为第一待存储数据库,包括:
从预设的第一数值序列中,确定所述目标哈希值相匹配的数值,作为第一待匹配数值;其中,所述第一数值序列中的多个数值按照第一预设顺序排列;所述多个第一数据库与所述第一数值序列中不同的数值相关联;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京奇艺世纪科技有限公司,未经北京奇艺世纪科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202310047803.1/2.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置