[发明专利]一种数据存储、重构方法和装置、及电子设备有效

专利信息
申请号: 201710512246.0 申请日: 2017-06-28
公开(公告)号: CN109144766B 公开(公告)日: 2023-05-02
发明(设计)人: 叶敏;林鹏;汪渭春;林起芊 申请(专利权)人: 杭州海康威视数字技术股份有限公司
主分类号: G06F11/10 分类号: G06F11/10
代理公司: 北京柏杉松知识产权代理事务所(普通合伙) 11413 代理人: 孙翠贤;项京
地址: 310051 浙*** 国省代码: 浙江;33
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 数据 存储 方法 装置 电子设备
【说明书】:

发明实施例提供了一种数据存储、重构方法和装置、及电子设备,所述数据存储方法包括:当接收到针对目标数据的存储指令时,基于预设的第一比例,确定所述目标数据所对应的纠删码策略,其中,所述纠删码策略包括第一纠删码策略和/或第二纠删码策略,所述第一纠删码策略的安全级别高于所述第二纠删码策略,所述第一比例为:第一纠删码策略的使用次数占纠删码策略使用总次数的比例;基于所确定的纠删码策略,对所述目标数据进行切片和冗余处理,得到所述目标数据对应的多个数据片段;将所述多个数据片段分别存储于不同存储设备的存储对象中。应用本发明实施例,可以有效地提高重构效率。

技术领域

本发明涉及数据处理技术领域,特别涉及一种数据存储、重构方法和装置、及电子设备。

背景技术

目前,为了保证所存储数据的安全,常常需要基于纠删码(erasure coding,EC)对数据进行存储。

例如,在存储目标数据时,利用纠删码策略:4+1将该目标数据分割成4个原始片段,并基于这4个原始片段进行扩展、编码,得到1个冗余片段,进而将这4个原始片段和1个冗余片段分别存储至各个存储对象中。这样,如果某个存储对象中的数据丢失,则可以根据未丢失的原始片段及冗余片段对丢失的数据片段进行重构,从而可以保证该目标数据的安全。

但是,由于现有的存储对象常常位于存储设备中,而存储设备的容量已可以达到12TB(Terabyte,万亿字节),当通过上述存储方式存储了12TB数据的存储设备出现故障时,需要通过网络从其他存储对象中获取大量数据,然后使用纠删码策略恢复12TB的数据,才能实现对该存储设备所存储的12TB数据的重构,重构效率非常低。

发明内容

本发明实施例的目的在于提供一种数据存储、重构方法和装置、及电子设备,以提高重构效率。

第一方面,本发明实施例提供了一种数据存储方法,所述方法可以包括:

当接收到针对目标数据的存储指令时,基于预设的第一比例,确定所述目标数据所对应的纠删码策略,其中,所述纠删码策略包括第一纠删码策略和/或第二纠删码策略,所述第一纠删码策略的安全级别高于所述第二纠删码策略,所述第一比例为:第一纠删码策略的使用次数占纠删码策略使用总次数的比例;

基于所确定的纠删码策略,对所述目标数据进行切片和冗余处理,得到所述目标数据对应的多个数据片段;

将所述多个数据片段分别存储于不同存储设备的存储对象中。

可选地,在本发明实施例的一种实现方式中,所述将所述多个数据片段分别存储于不同存储设备的存储对象中的步骤,可以包括:

生成第一映射关系,所述第一映射关系中至少记录有:所述多个数据片段和各个存储对象的对应关系,所述多个数据片段和所述纠删码策略的对应关系,其中,所述各个存储对象位于不同的存储设备;

基于所述第一映射关系,将所述多个数据片段分别存储于所述各个存储对象中。

可选地,所述第一映射关系中还记录有:所述目标数据所对应的标识与所述多个数据片段的对应关系。

可选地,在本发明实施例的另一种实现方式中,所述将所述多个数据片段分别存储于不同存储设备的存储对象中的步骤,可以包括:

获得所确定的纠删码策略所对应的目标条带,其中,当所述纠删码策略对应N份数据片段,所述N份数据片段=K份原始片段+M份冗余片段时,所述目标条带中包含N个存储对象,所述N个存储对象位于不同的存储设备;

生成第二映射关系,其中,所述第二映射关系中至少记录有:所述多个数据片段与所述目标条带中的各个存储对象的对应关系,以及所述目标条带与所确定的纠删码策略的对应关系,其中,所述各个存储对象位于不同的存储设备;

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于杭州海康威视数字技术股份有限公司,未经杭州海康威视数字技术股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201710512246.0/2.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top