[发明专利]一种基于动态分组码的数据容错方法

说明书

本发明提出了一种基于动态分组码的数据容错方法，属于数据存储技术领域，具体涉及分布式存储系统中数据的容错问题，利用基于动态分组码的数据容错方法恢复丢失或失效的数据。首先按照分布式系统中磁盘的分组对将要存储的数据进行分块存储。当一个条带的数据存储完全时，对这个条带上的数据块应用DLRC编码，生成全局校验块和局部校验块并存储到校验块的磁盘中。当发现有数据块失效时，读取参与重构的节点数据，利用DLRC编码进行反向计算，重构出丢失的数据并重新存储到磁盘。本发明实现了存储开销、容错能力和重构开销的动态平衡，可以适用于不同存储系统的需求。在消耗同样的存储空间的情况下，DLRC编码容错能力高、重构开销低，具有良好的实用价值。

技术领域

本发明属于数据存储技术领域，涉及一种基于动态分组码的数据容错方法，具体涉及分布式存储系统中数据的容错问题，利用一种基于动态分组码的数据容错方法恢复丢失或失效的数据。

背景技术

随着海量数据时代的到来，早期的单机系统已经无法适应高速增长的数据存储，现在越来越多的企业开始采用分布式存储系统。由于分布式存储系统普遍使用大量廉价商用服务器通过网络互联，因而可以提供较强的扩展和服务能力。然而，随着集群规模的变大、互联存储设备的增多，存储节点失效的情况越来越频繁出现。因此，如何保证分布式存储系统数据的可靠性已成为一个亟待解决的问题。目前，分布式存储系统常用的数据容错技术主要有两种，多副本技术和纠删码技术，其中，分组码是一种以分组思想为依据的新型纠删码。纠删码技术与多副本技术相比，在提供相同容错能力的前提下，所需的存储开销显著减少，因此被存储系统广泛采用。

一直以来，I/O带宽和网络是应用纠删码的分布式存储系统的稀缺资源，是整个容错过程的性能瓶颈所在。减少网络资源占用的主要方法是减少纠删码的重构开销，而重构开销是由纠删码本身的特性决定的，因此设计新型纠删码是从根本上降低重构开销的重要途径。而不同系统对性能的需求也不尽相同，如何动态地适应不同的性能需求也是设计纠删码的一个重点。

针对目前纠删码不能动态适应存储系统需求的问题，本发明提出了一种基于分组码思想的新型纠删码，DLRC码(Dynamic Local Reconstruction Codes，动态分组码)，用于取代传统的数据容错技术。

发明内容

本发明的目的在于提供一种可以满足存储系统对于存储开销、容错能力、重构开销等性能的不同需求，同时保证单个存储节点失效时，重构过程在组内进行，有效降低系统重构开销的基于动态分组码的数据容错方法。

本发明的目的是这样实现的：

本发明提出了一种基于动态分组码的数据容错方法，主要通过以下步骤实现：

(1)按照分布式系统中磁盘的分组对将要存储的数据分块存储到数据盘中；

(2)判断一个条带上的磁盘节点是否存储完全，如果存储完全执行步骤(4)，否则执行步骤(3)；

(3)继续等待新的文件数据，返回执行步骤(1)；

(4)利用DLRC编码对数据盘上同一条带上的数据块进行编码操作，得到全局校验块及局部校验块；

(5)将计算出的全局校验块和局部校验块分别存入对应的校验盘；

(6)判断是否有失效节点出现，其中，所述的失效节点为数据失效的存储节点；若出现失效节点执行步骤(7)，否则执行步骤(3)；

(7)根据失效节点的位置，读取与失效节点相关联的全部参与重构计算的节点数据；

(8)利用DLRC编码反向解码计算，重构出失效的数据内容；

(9)将重构出的数据存入对应的磁盘中。