[发明专利]一种面向纠删码的数据放置方法

说明书

技术领域

本发明涉及分布存储系统的数据容错技术，尤其是面向纠删码的数据放置方法。

背景技术

数据容错是海量数据分布存储的关键技术之一，数据容错对于提高系统的可用性和可靠性至关重要。目前，数据容错技术主要包括基于复制的容错技术和基于纠删码的容错技术。

基于复制的容错技术简单直观，易于实现和部署，需要为每个数据对象创建若干同样大小的副本，存储空间开销较大。基于纠删码的容错技术通过将数据对象分割为多个数据块，通过利用纠删码算法对原始的数据块进行编码得到冗余的数据块，把多个数据块的信息融合到较少的冗余信息中，有效节省存储空间。与基于复制的容错技术相比，基于纠删码的容错技术具有冗余度低、存储空间利用率高等优点，已经逐步成为大数据时代数据容错的主流技术。

基于纠删码的容错技术的基本思想是对k个原始数据块进行编码计算得到m个冗余数据块；只需k+m个数据块中的任意k个数据块，就可通过解码计算恢复得到原始的k个数据块。

具体而言，每个冗余数据块C_j(j＝1,2,…,m)都是k个原始数据块Di(i＝1,2,…,k)的线性组合，编码计算可表示为公式(1)，其中，G_ji(j＝1,2,…,m，i＝1,2,…,k)是数据块编码系数。也就是说，对于冗余数据块C_j(j＝1,2,…,m)而言，首先，编码系数G_ji(i＝1,2,…,k)与数据块Di(i＝1,2,…,k)进行逐位相乘，得到k个新数据块T_ji＝G_ji×D_i(i＝1,2,…,k)；然后，k个新数据块T_ji(i＝1,2,…,k)进行逐位相加，得到冗余数据块

G_j1×D₁+…+G_ji×D_i+…+G_jk×D_k＝C_j       (1)

每个原始数据块D_i(i＝1,2,…,k)都是其它任意k个可用数据块E_j(j＝1,2,…,k)(原始数据块或者冗余数据块)的线性组合，解码计算可表示为公式(2)，其中，H_ij(i＝1,2,…,k，j＝1,2,…,k)是数据块解码系数。也就是说，对于原始数据块D_i(i＝1,2,…,k)而言，首先，解码系数H_ij(j＝1,2,…,k)与可用数据块E_j(j＝1,2,…,k)进行逐位相乘，得到k个新数据块S_ij＝H_ij×E_j(j＝1,2,…,k)；然后，k个新数据块S_ij(j＝1,2,…,k)进行逐位相加，得到原始数据块

H_i1×E₁+…+H_ij×E_j+…+H_ik×E_k＝D_i        (2)

尽管随着技术的进步，各种软硬件资源的可靠性得到了显著提高，但是，随着存储资源规模的不断扩大，资源的失效概率明显上升。在大规模分布存储系统中，资源失效是一种常态行为。在数据块失效时，基于纠删码的容错技术需要多个数据块才能解码恢复失效的原始数据块，需要占用较多的网络带宽资源。

如何放置数据块对分布存储系统的数据访问效率、数据可靠性和数据修复效率等系统性能都将产生重要影响。多存储节点同时失效大多是由电源故障或网络故障引起的，失效的多个存储节点在拓扑上相距较近，如同一个机架中的存储节点或连接于同一个交换机上的存储节点。因此，数据放置越分散，数据的可靠性就会越高，但是，数据访问效率就会越低，数据修复效率也会越低。但是，数据可靠性和数据访问效率之间也不是完全矛盾的。如果数据访问效率越高，那么，数据修复效率就会越高，在数据修复完成之前再次发生失效的概率就会越小，从而提高数据可靠性。