[发明专利]一种数据存储、重构方法和装置、及电子设备有效
申请号: | 201710512246.0 | 申请日: | 2017-06-28 |
公开(公告)号: | CN109144766B | 公开(公告)日: | 2023-05-02 |
发明(设计)人: | 叶敏;林鹏;汪渭春;林起芊 | 申请(专利权)人: | 杭州海康威视数字技术股份有限公司 |
主分类号: | G06F11/10 | 分类号: | G06F11/10 |
代理公司: | 北京柏杉松知识产权代理事务所(普通合伙) 11413 | 代理人: | 孙翠贤;项京 |
地址: | 310051 浙*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据 存储 方法 装置 电子设备 | ||
本发明实施例提供了一种数据存储、重构方法和装置、及电子设备,所述数据存储方法包括:当接收到针对目标数据的存储指令时,基于预设的第一比例,确定所述目标数据所对应的纠删码策略,其中,所述纠删码策略包括第一纠删码策略和/或第二纠删码策略,所述第一纠删码策略的安全级别高于所述第二纠删码策略,所述第一比例为:第一纠删码策略的使用次数占纠删码策略使用总次数的比例;基于所确定的纠删码策略,对所述目标数据进行切片和冗余处理,得到所述目标数据对应的多个数据片段;将所述多个数据片段分别存储于不同存储设备的存储对象中。应用本发明实施例,可以有效地提高重构效率。
技术领域
本发明涉及数据处理技术领域,特别涉及一种数据存储、重构方法和装置、及电子设备。
背景技术
目前,为了保证所存储数据的安全,常常需要基于纠删码(erasure coding,EC)对数据进行存储。
例如,在存储目标数据时,利用纠删码策略:4+1将该目标数据分割成4个原始片段,并基于这4个原始片段进行扩展、编码,得到1个冗余片段,进而将这4个原始片段和1个冗余片段分别存储至各个存储对象中。这样,如果某个存储对象中的数据丢失,则可以根据未丢失的原始片段及冗余片段对丢失的数据片段进行重构,从而可以保证该目标数据的安全。
但是,由于现有的存储对象常常位于存储设备中,而存储设备的容量已可以达到12TB(Terabyte,万亿字节),当通过上述存储方式存储了12TB数据的存储设备出现故障时,需要通过网络从其他存储对象中获取大量数据,然后使用纠删码策略恢复12TB的数据,才能实现对该存储设备所存储的12TB数据的重构,重构效率非常低。
发明内容
本发明实施例的目的在于提供一种数据存储、重构方法和装置、及电子设备,以提高重构效率。
第一方面,本发明实施例提供了一种数据存储方法,所述方法可以包括:
当接收到针对目标数据的存储指令时,基于预设的第一比例,确定所述目标数据所对应的纠删码策略,其中,所述纠删码策略包括第一纠删码策略和/或第二纠删码策略,所述第一纠删码策略的安全级别高于所述第二纠删码策略,所述第一比例为:第一纠删码策略的使用次数占纠删码策略使用总次数的比例;
基于所确定的纠删码策略,对所述目标数据进行切片和冗余处理,得到所述目标数据对应的多个数据片段;
将所述多个数据片段分别存储于不同存储设备的存储对象中。
可选地,在本发明实施例的一种实现方式中,所述将所述多个数据片段分别存储于不同存储设备的存储对象中的步骤,可以包括:
生成第一映射关系,所述第一映射关系中至少记录有:所述多个数据片段和各个存储对象的对应关系,所述多个数据片段和所述纠删码策略的对应关系,其中,所述各个存储对象位于不同的存储设备;
基于所述第一映射关系,将所述多个数据片段分别存储于所述各个存储对象中。
可选地,所述第一映射关系中还记录有:所述目标数据所对应的标识与所述多个数据片段的对应关系。
可选地,在本发明实施例的另一种实现方式中,所述将所述多个数据片段分别存储于不同存储设备的存储对象中的步骤,可以包括:
获得所确定的纠删码策略所对应的目标条带,其中,当所述纠删码策略对应N份数据片段,所述N份数据片段=K份原始片段+M份冗余片段时,所述目标条带中包含N个存储对象,所述N个存储对象位于不同的存储设备;
生成第二映射关系,其中,所述第二映射关系中至少记录有:所述多个数据片段与所述目标条带中的各个存储对象的对应关系,以及所述目标条带与所确定的纠删码策略的对应关系,其中,所述各个存储对象位于不同的存储设备;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于杭州海康威视数字技术股份有限公司,未经杭州海康威视数字技术股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710512246.0/2.html,转载请声明来源钻瓜专利网。
- 上一篇:报表生成方法、装置、计算机设备及存储介质
- 下一篇:数据存储系统及其操作方法
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置