[发明专利]分布式存储系统中的数据重建的方法、装置和系统

说明书

一种分布式存储系统中的数据重建的方法、装置和系统。分布式存储系统中的主存储节点对待写入数据进行EC编码，生成EC条带，将EC条带中的各个EC块分别存储在各个存储节点上，当部分存储节点由于故障导致写入EC块失败时，主存储节点将分配给写入失败的存储节点的EC块存储在本地，并生成数据重建所需的元数据信息，当存储节点故障恢复后，主存储节点将存储的分配给写入失败的存储节点的EC块以及该EC块对应的元数据信息重新发送给该存储节点，以使得故障恢复后的该存储节点完成数据重建。本申请提供的分布式存储系统中的数据重建的方案，当部分存储节点故障时，无需执行EC反编码以恢复故障节点上的数据，而是由主存储节点缓存分配给故障节点的EC块，再故障节点恢复后再将缓存的EC块重新发送给故障节点进行数据重建。避免了存储节点故障恢复进行数据重建时执行EC反编码带来的计算资源消耗，同时也避免了执行EC反编码时传递大量数据带来的网络资源消耗。

技术领域

本发明涉及IT技术领域，尤其涉及分布式存储系统中的数据重建的方法、装置和系统。

背景技术

存储系统中，为了保证数据的安全，通常使用多副本存储技术来实现数据的冗余备份。多副本冗余技术就是对一份数据同时存储多份相同的副本，当一份数据丢失时，可以通过其他副本的数据将丢失的数据恢复出来，从而降低数据丢失的概率。副本个数的增加将会大大增加系统存储空间和网络带宽的消耗，从而增加数据存储的成本。如两副本情况下，用户真正可用空间是整个系统总存储空间的50％，而在三副本的情况下，用户真正可用空间则只有33％。

由于多副本存储技术存在存储空间浪费的缺点，现阶段的分布式存储系统越来越多的采用纠删码(EC，Erasure Code)技术对数据进行存储。目前在存储领域广泛应用的是Reed-Solomen类纠删码，具体原理是，将数据分割成m个数据块，采用冗余算法对m个数据块进行校验编码，用编码矩阵和m个数据块做乘法运算，从而生成k个校验块，该m个数据块与k个校验块组成一个EC条带。由于矩阵运算是可逆，当EC条带中的m+k个块中小于或等于k个块丢失时，均可以还原丢失的块中的数据。

相对副本而言，纠删码的编码技术无疑对存储空间利用率带来很大提升，但由于引入额外的编码、解码运算，对分布式存储系统的计算能力带来额外的要求。

发明内容

本申请描述了一种分布式存储系统中的数据重建的方法、装置和系统，解决了故障节点恢复后重建故障节点上的数据的问题，无需使用EC反编码的方式来恢复数据，降低了计算资源以及网络资源的消耗。

一方面，本发明实施例提供了一种分布式存储系统中数据重建的方法，第一存储节点获取待写入数据，确定所述待写入数据的key值，刷新所述key值对应的版本号，对所述待写入数据进行EC编码，生成EC条带，所述EC条带包括m+k个EC块，其中m个EC块为数据块，k个EC块为校验块，m为大于等于2的正整数，k为自然数；第一存储节点查询分区视图，确定所述待写入数据所在的分区对应的第二存储节点，所述第一存储节点为所述分区对应的主存储节点，所述第二存储节点为所述分区对应的备存储节点；所述第一存储节点向所述第二存储节点发送写入请求，所述写入请求携带所述待写入数据所在的分区标识(ID)、所述待写入数据的key值和版本号，以及分配给所述第二存储节点的EC块的数据、块内数据偏移和块内数据长度；第一存储节点确定所述第二存储节点写入失败，存储所述分配给所述第二存储节点的EC块的数据，生成与所述分配给所述第二存储节点的EC块对应的元数据信息，所述元数据信息包括所述待写入数据所在的分区的分区ID、所述待写入数据的key值和版本号，以及分配给所述第二存储节点的EC块的块内数据偏移和块内数据长度；当所述第二存储节点故障恢复后，所述第一存储节点将存储的所述分配给所述第二存储节点的EC块的数据以及所述元数据信息发送给所述第二存储节点，以使得所述第二存储节点进行数据重建。