[发明专利]一种高效数据读取的容错编码方法

摘要

一种高效数据读取的容错编码方法，包括IZSHC码的编码构造方法与IZSHC码下读取失效数据的方法，IZSHC码的编码构造方法是对要读取的原始数据冗余处理，即将原始文件进行编码来生成冗余数据块，冗余数据块分为原始数据块和校验数据块；IZSHC码下读取失效数据的方法是在原始数据块发生读取失效时利用冗余数据块对失效数据进行解码恢复。本发明基于IZSHC码，可以显著地提升节点失效情况下的数据读取性能。

主权项

一种高效数据读取的容错编码方法，其特征在于包括：IZSHC码的编码构造方法与IZSHC码下读取失效数据的方法，IZSHC码的编码构造方法是对要读取的原始数据冗余处理，即将原始文件进行编码来生成冗余数据块，冗余数据块分为原始数据块和校验数据块；IZSHC码下读取失效数据的方法是在原始数据块发生读取失效时利用冗余数据块对失效数据进行解码恢复；其中：(1)IZSHC码的编码构造方法，实现步骤如下：(11)将大小为M字节的原始二进制数据文件进行分块分组分片的预处理得到原始数据组，组中的每一个文件数据块称为原始数据块，每个组均分配有m+1个原始数据块并顺序编号；将每个数据块放置于分布式系统中不同的存储节点上，对应的节点称为原始节点；(12)基于原始数据组构造得到单元组，一个单元组包含一个原始数据组及由原始组内数据块编码生成的两个校验数据块：row块和zigzag块，每个校验块均由α个数据片连接组成；(13)基于单元组构造得到第1层复合组，一个复合组由若干，设为s1个单元组及新生成的两个校验块构成，记为两个校验块分别称为组内顶层row块和组内顶层zigzag块，均由α个数据片连接组成；(14)基于第1层复合组构造得到第2层复合组，一个第2层复合组由若干，设为s2个第1层复合组及新生成的组内顶层row块和组内顶层zigzag块构成；(15)按照步骤(14)中的方法逐级构建更高层复合组，最终生成IZSHC编码IZSHC(k,r,α)，其中k即为文件的原始数据块个数，r则是所有生成的校验块个数，α为每个数据块划分的片数；每个数据块，包括新生成的校验数据块，分别放置到不同的存储节点上；(2)IZSHC码下读取失效数据的方法，是对失效节点数据恢复后读取，采用下列步骤(21)或步骤(22)实现，所述步骤(21)与(22)相互独立，分别针对不同失效情况，步骤(21)针对一个节点发生失效的情况；步骤(22)针对两个节点同时发生失效的情况；步骤(2)通过在基于步骤(1)的编码结构得到的冗余数据块上进行实施；(21)当一个原始节点失效时，恢复过程如下：(211)设失效的原始节点的数据块编号为i，构造数据块i的修复集合Xi，其元素为相关的数据片编号；(212)从数据块i所属单元组中所有未失效数据块下载Xi标识的数据片来恢复数据块i；此时每个未失效节点所上传数据片的总数据量为M/2k，总共的传输量为(m+2)·M/2k；(22)当两个原始节点失效时，设失效节点的数据块编号为I,n，所处的单元组分别为p1，p2＝0，1，2…，每个单元组中的原始数据块个数为m+1，每个数据块大小为M/k，针对p1，p2的不同取值情况，对应恢复过程如下：(221)若p1＝p2，此时l，n位于同一组内，下载组内剩余m+1个未失效数据块即可恢复失效数据，此时下载量为单元组内m+1个数据块大小之和(m+1)·M/k；(222)若p1≠p2，此时l,n在不同的2个单元组内，使用步骤(21)的方法分别在各单元组中独自恢复这两个数据块，此时总共的下载量为(m+2)·M/k。