[发明专利]分布式存储系统中的数据重建的方法、装置和系统

摘要

一种分布式存储系统中的数据重建的方法、装置和系统。分布式存储系统中的主存储节点对待写入数据进行EC编码，生成EC条带，将EC条带中的各个EC块分别存储在各个存储节点上，当部分存储节点由于故障导致写入EC块失败时，主存储节点将分配给写入失败的存储节点的EC块存储在本地，并生成数据重建所需的元数据信息，当存储节点故障恢复后，主存储节点将存储的分配给写入失败的存储节点的EC块以及该EC块对应的元数据信息重新发送给该存储节点，以使得故障恢复后的该存储节点完成数据重建。本申请提供的分布式存储系统中的数据重建的方案，当部分存储节点故障时，无需执行EC反编码以恢复故障节点上的数据，而是由主存储节点缓存分配给故障节点的EC块，再故障节点恢复后再将缓存的EC块重新发送给故障节点进行数据重建。避免了存储节点故障恢复进行数据重建时执行EC反编码带来的计算资源消耗，同时也避免了执行EC反编码时传递大量数据带来的网络资源消耗。

主权项

1.一种分布式存储系统中数据重建的方法，其特征在于，包括：第一存储节点获取待写入数据以及所述待写入数据的键key值，刷新所述key值对应的版本号，对所述待写入数据进行纠删码EC编码，生成EC条带，所述EC条带包括m+k个EC块，其中m个EC块为数据块，k个EC块为校验块，m为大于等于2的正整数，k为自然数；所述第一存储节点查询分区视图，确定所述待写入数据所在的分区对应的备存储节点，其中，所述第一存储节点为所述分区对应的主存储节点，第二存储节点为所述分区对应的其中一个备存储节点；所述第一存储节点向各备存储节点发送写入请求，所述写入请求携带所述待写入数据所在的分区的分区标识ID、所述待写入数据的key值和版本号，以及分配给各备存储节点的EC块的数据；当所述第二存储节点写入失败时，所述第一存储节点存储所述分配给所述第二存储节点的EC块的数据，生成与所述分配给所述第二存储节点的EC块对应的元数据信息，所述元数据信息包括所述待写入数据所在的分区的分区ID、所述待写入数据的key值和版本号；当所述第二存储节点故障恢复后，所述第一存储节点将存储的所述分配给所述第二存储节点的EC块的数据以及所述元数据信息发送给所述第二存储节点，以使得所述第二存储节点进行数据重建。