[发明专利]一种数据存储方法、数据读取方法、装置及电子设备在审

专利信息
申请号: 202310047803.1 申请日: 2023-01-31
公开(公告)号: CN116049144A 公开(公告)日: 2023-05-02
发明(设计)人: 陈永旺 申请(专利权)人: 北京奇艺世纪科技有限公司
主分类号: G06F16/21 分类号: G06F16/21;G06F16/22;G06F16/27
代理公司: 北京柏杉松知识产权代理事务所(普通合伙) 11413 代理人: 李冬;孟维娜
地址: 100080 北京市海淀区*** 国省代码: 北京;11
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 数据 存储 方法 读取 装置 电子设备
【说明书】:

发明实施例提供了一种数据存储方法、数据读取方法、装置及电子设备,涉及计算机技术领域。方法包括:接收到待迁移数据后,从待迁移数据的元数据信息中获取待迁移数据的待迁移数据标识,按照预设的哈希算法计算待迁移数据标识的目标哈希值;根据预设的哈希值与第一数据库的第一对应关系,从存储系统中的多个第一数据库中确定目标哈希值对应的第一数据库,作为第一待存储数据库;将待迁移数据存储至第一待存储数据库中;根据预设的哈希值与第二数据库的第二对应关系,从存储系统中的多个第二数据库中确定目标哈希值对应的第二数据库,作为第二待存储数据库;将待迁移数据存储至第二待存储数据库中。应用本发明实施例,可以提高数据存储的效率。

技术领域

本发明涉及计算机技术领域,特别是涉及一种数据存储方法、数据读取方法、装置及电子设备。

背景技术

随着互联网业务的不断增加,以及大数据业务的发展,会产生越来越多的数据需要进行存储,如何将数以千亿或万亿计的数据采用安全高效且低成本的方式存储起来便成了业界难题。由于数据以二进制方式存储在计算机的磁盘中,并且计算机的磁盘受到物理限制无法提供足够大的存储空间,因此,可以采用分布式存储方式对数据进行存储,在分布式存储中即能够满足互联网需求,又能存储大量数据的存储方式当属对象存储服务(英文:Distributed Object Storage Service,简称:OSS)。

对象存储是指将数据按照KV(Key-Value,键值对)的方式,存储至分布式的存储系统中,其中,Value表示数据,Key表示数据的索引。具体的,将数据存储至分布式对象存储系统中的数据存储系统,以及将数据的索引(例如,数据的大小、存储位置、存储时间、唯一标识、数据类型等)存储至索引存储系统。现有技术中,在索引存储系统中存储索引时,针对索引存储系统中的每一数据库,计算该数据库的数据库标识的哈希值,得到多个哈希值。根据多个数据库各自对应的哈希值,确定出与需要存储的索引相匹配的数据库,得到用于存储该索引的数据,然后在确定出的数据库中存储该索引。

然而,索引存储系统的数据量级较大,例如,索引存储系统中存储了数以千亿或万亿计的数据,则索引存储系统中的数据库较多,例如索引存储系统中可能有上万个数据库,若每次在索引存储系统中存储索引时,均计算每一数据库的哈希值,则所需的时间较长,进而,导致索引存储的效率较低。

发明内容

本发明实施例的目的在于提供一种数据存储方法、数据读取方法、装置及电子设备,以提高数据存储的效率。具体技术方案如下:

在本发明实施的第一方面,首先提供了一种数据存储方法,所述方法包括:

在接收到待迁移数据后,从所述待迁移数据的元数据信息中,获取所述待迁移数据的待迁移数据标识,按照预设的哈希算法,计算所述待迁移数据标识的目标哈希值;其中,所述待迁移数据标识表示所述待迁移数据的存储路径;

根据预设的哈希值与第一数据库的第一对应关系,从存储系统中的多个第一数据库中,确定所述目标哈希值对应的第一数据库,作为第一待存储数据库;

将所述待迁移数据存储至所述第一待存储数据库中;

根据预设的哈希值与第二数据库的第二对应关系,从存储系统中的多个第二数据库中,确定所述目标哈希值对应的第二数据库,作为第二待存储数据库;其中,从所述第二数据库获取数据的速度大于从所述第一数据库获取数据的速度

将所述待迁移数据存储至所述第二待存储数据库中。

可选的,所述根据预设的哈希值与第一数据库的第一对应关系,从存储系统中的多个第一数据库中,确定所述目标哈希值对应的第一数据库,作为第一待存储数据库,包括:

从预设的第一数值序列中,确定所述目标哈希值相匹配的数值,作为第一待匹配数值;其中,所述第一数值序列中的多个数值按照第一预设顺序排列;所述多个第一数据库与所述第一数值序列中不同的数值相关联;

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京奇艺世纪科技有限公司,未经北京奇艺世纪科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202310047803.1/2.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top