[发明专利]一种针对编码冗余存储系统的自适应数据存储与重构方法在审
申请号: | 201410175898.6 | 申请日: | 2014-04-28 |
公开(公告)号: | CN103916483A | 公开(公告)日: | 2014-07-09 |
发明(设计)人: | 蒋海波;李娜;周星梅;陈建中;王晓京 | 申请(专利权)人: | 中国科学院成都生物研究所 |
主分类号: | H04L29/08 | 分类号: | H04L29/08 |
代理公司: | 成都赛恩斯知识产权代理事务所(普通合伙) 51212 | 代理人: | 朱月仙 |
地址: | 610041 四川*** | 国省代码: | 四川;51 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 针对 编码 冗余 存储系统 自适应 数据 存储 方法 | ||
1.一种针对编码冗余存储系统的自适应数据存储方法,所述编码冗余存储系统包含服务器端和客户端,所述客户端向服务器端提出文件存储需求,其特征在于,所述针对编码冗余存储系统的自适应数据存储方法包括如下步骤:
(1)所述客户端计算待存储文件的哈希值,将待存储文件的哈希值上传至服务器端;
(2)将待存储文件的哈希值与服务器端已经存储的文件的哈希值进行比对;
(3)若出现相同的哈希值,则服务器端不接受所述待存储文件的上传,若未出现相同的哈希值,则服务器端接受所述待存储文件的上传,将上传的文件进行分块,计算并存储各文件分块的哈希值,将各文件分块进行编码产生校验数据分块。
2.如权利要求1所述的针对编码冗余存储系统的自适应数据存储方法,其特征在于:所述步骤(1)客户端计算待存储文件的哈希值之前,服务器端询问客户端是否愿意计算待存储文件的哈希值,若客户端不愿意计算所述待存储文件的哈希值,则将待存储文件直接上传服务器端,由服务器端计算所述待存储文件的哈希值。
3.如权利要求2所述的针对编码冗余存储系统的自适应数据存储方法,其特征在于:所述步骤(3)若出现相同的哈希值,则对已经上传的待存储文件进行删除。
4.如权利要求1所述的针对编码冗余存储系统的自适应数据存储方法,其特征在于:当出现相同的哈希值,服务器端不接受所述待存储文件的上传时,服务器端接受客户端上传的关于存储文件的文件信息,并建立所述文件信息与已经存储的具有相同哈希值的文件的关联。
5.一种针对编码冗余存储系统的自适应数据重构方法,其特征在于,所述针对编码冗余存储系统的自适应数据重构方法包括如下步骤:
(1)实时检测编码冗余存储系统服务器端是否有存储节点损毁;
(2)当有存储节点损毁时,系统将损毁存储节点的文件分块对应的哈希值标记为丢失状态,并判断损毁的存储节点数是否大于系统的设定值;
(3)当损毁的存储节点数大于系统的设定值时,编码冗余存储系统服务器端利用内部计算资源对丢失的文件分块进行重构,当损毁的存储节点数不大于系统的设定值时,进入步骤(4);
(4)实时判断是否有客户端提出读取文件请求;
(5)若有客户端提出读取文件请求,则判断待读取的文件是否有文件分块丢失;
(6)若待读取的文件有文件分块丢失,则判断客户端的硬件资源是否符合设定的硬件性能要求;
(7)若客户端的硬件资源不符合设定的硬件性能要求,则编码冗余存储系统服务器端利用内部计算资源对丢失的文件分块进行重构,将恢复出的文件分块提供给客户端;若客户端的硬件资源符合设定的硬件性能要求,则进入步骤(8);
(8)客户端下载相关文件分块与可以满足恢复丢失文件分块的校验数据分块,对丢失的文件分块进行恢复。
6.如权利要求5所述的针对编码冗余存储系统的自适应数据重构方法,其特征在于,所述步骤(7)若客户端的硬件资源符合设定的硬件性能要求,则询问客户端是否愿意参与丢失文件分块的恢复,若客户端愿意参与丢失文件分块的恢复,则进入步骤(8),若客户端不愿意参与丢失文件分块的恢复,则编码冗余存储系统服务器端利用内部计算资源对丢失的文件分块进行重构。
7.如权利要求5所述的针对编码冗余存储系统的自适应数据重构方法,其特征在于,所述针对编码冗余存储系统的自适应数据重构方法还包括如下步骤:
对丢失的文件分块进行恢复后,计算重构的文件分块的哈希值;
将所述重构文件分块的哈希值上传至服务器端;
服务器端比较重构文件分块的哈希值与对应丢失的原文件分块的哈希值是否相同;
若重构文件分块的哈希值与对应丢失的原文件分块的哈希值相同,则允许客户端上传重构的文件分块;
客户端上传所述重构的文件分块;
服务器端计算所述上传文件分块的哈希值,并与对应丢失的原文件分块的哈希值进行比对;
若上传文件分块的哈希值与对应丢失的原文件分块的哈希值相同时,服务器端保存所述上传的文件分块,并将所述上传文件分块对应的哈希值设置为可用。
8.如权利要求5至7任一所述的针对编码冗余存储系统的自适应数据重构方法,其特征在于,所述系统的设定值在编码所允许的容灾范围内。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国科学院成都生物研究所,未经中国科学院成都生物研究所许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201410175898.6/1.html,转载请声明来源钻瓜专利网。
- 上一篇:手机快捷拨打电话的方法及装置
- 下一篇:一种新型烟草制品的制备方法