[发明专利]一种基于十字交叉纠删编码的快速数据恢复方法及系统有效
申请号: | 201611248332.7 | 申请日: | 2016-12-29 |
公开(公告)号: | CN106844098B | 公开(公告)日: | 2020-04-03 |
发明(设计)人: | 魏征;窦禹;邢晶;霍志刚;王田 | 申请(专利权)人: | 中国科学院计算技术研究所;中国科学院国有资产经营有限责任公司 |
主分类号: | G06F11/14 | 分类号: | G06F11/14;G06F11/10 |
代理公司: | 北京律诚同业知识产权代理有限公司 11006 | 代理人: | 祁建国;李岩 |
地址: | 100080 北*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 十字 交叉 编码 快速 数据 恢复 方法 系统 | ||
1.一种基于十字交叉纠删编码的快速数据恢复方法,其特征在于,包括:
分组伙伴关联编码步骤,在LRC编码块中增加全局编码块块间关联,数据写入时,按照LRC编码方式进行计算,将全局编码块两两分组,并将每个分组内的每个全局编码块分成两部分,并将全局编码块的后半部分与另一块全局编码块的前半部分异或后,写入当前全局编码块的后半部分中,当第一个全局编码块丢失时,仅需要读取数据块的后半部分,按照LRC编码矩阵,获得丢失数据块的未做异或前的两个后半部分,另一块全局编码块的后半部分异或操作前跟后做异或操作得到丢失数据块的前半部分,丢失数据块的异或前数据与另一块全局编码块的前半部分做异或操作得到丢失数据块的后半部分,使得第一块全局编码块恢复;
十字交叉纠删码编码步骤,数据在写入时采用分组伙伴关联编码步骤进行横向一维编码运算,计算获得局部编码块与全局编码块,数据按照条带方式刷回到对应的磁盘中进行存储,当数据写入存储服务器后,由存储服务器进行异步的纵向编码计算,通过纵向编码,减少数据恢复时横向恢复的比例;
分组伙伴关联编码步骤包括按照LRC编码矩阵,获得丢失数据块的未做异或前的后半部分A2与B2,再读取另一块全局编码块(B1,A1+B2),将后半部分B2,与全局编码块(B1,A1+B2)的后半部分A1+B2异或获得A1,同样,将后半部分A2与全局编码块(B1,A1+B2)的前半部分B1异或获得A2+B1,以使第一块全局编码块恢复。
2.如权利要求1所述的基于十字交叉纠删编码的快速数据恢复方法,其特征在于,分组伙伴关联编码步骤之前还包括基于intel ISA-L加速库,实时采集节点的CPU利用率、内存利用率、磁盘IO负载、系统的网络负载、整体负载,根据节点的任务,客户端负责数据的横向编码计算,存储服务器负责数据的纵向编码计算/解码计算两个任务,根据需求,存储服务器纠删码计算任务分为纵向纠删码异步计算、纵向纠删码解码计算与横向纠删码解码计算,优先级依次提高,并根据计算优先级分别设立优先级队列。
3.如权利要求1所述的基于十字交叉纠删编码的快速数据恢复方法,其特征在于,分组伙伴关联编码步骤还包括两种纵向编码方式,若为RS编码,则通过将6块数据块进行编码获得两块编码块,当数据恢复时,需要读取另外六块数据进行逆矩阵乘操作;
若为LRC编码,在RS编码的基础上将数据块分成2组,每组生成一个局部编码块,当数据块或者对应的局部编码块丢失时,读取分组内其他3块数据,做异或运算,若全局编码块数据丢失时,需要读取其他6块数据。
4.如权利要求1所述的基于十字交叉纠删编码的快速数据恢复方法,其特征在于,十字交叉纠删码编码步骤采用同步与异步相结合的方式进行数据写入。
5.一种基于十字交叉纠删编码的快速数据恢复系统,其特征在于,包括:
分组伙伴关联编码模块,用于对LRC编码块中增添全局编码块,数据写入时,按照LRC编码方式进行计算,将全局编码块两两分组,并将每个分组内的每个全局编码块分成两部分,并将全局编码块的后半部分与另一块全局编码块的前半部分异或后,写入当前全局编码块的后半部分中,当第一个全局编码块丢失时,仅需要读取数据块的后半部分,按照LRC编码矩阵,获得丢失数据块的未做异或前的两个后半部分,并分别与读取另一块全局编码块的后边部分做异或操作,以使第一块全局编码块恢复;
十字交叉纠删码编码模块,用于数据在写入时采用分组伙伴关联编码步骤进行横向一维编码运算,计算获得局部编码块与全局编码块,数据按照条带方式刷回到对应的磁盘中进行存储,当数据写入存储服务器后,由存储服务器进行异步的纵向编码计算,通过纵向编码,减少数据恢复时横向恢复的比例;
分组伙伴关联编码模块包括按照LRC编码矩阵,获得丢失数据块的未做异或前的后半部分A2与B2,再读取另一块全局编码块(B1,A1+B2),将后半部分B2,与全局编码块(B1,A1+B2)的后半部分A1+B2异或获得A1,同样,将后半部分A2与全局编码块(B1,A1+B2)的前半部分B1异或获得A2+B1,以使第一块全局编码块恢复。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国科学院计算技术研究所;中国科学院国有资产经营有限责任公司,未经中国科学院计算技术研究所;中国科学院国有资产经营有限责任公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201611248332.7/1.html,转载请声明来源钻瓜专利网。