[发明专利]一种基于多级调度的纠删码系统恢复方法及系统

说明书

本发明提出一种基于多级调度的纠删码系统恢复方法及系统，基于水平码的数据布局方式，提出基于数据读取、网络调度和计算调度的多级调度方法，通过动态资源窗口机制分别控制各个阶段的负载均衡，数据读取和网络调度形成生产者‑消费者模型，通过令牌机制保证数据读取阶段的数据能够完全被网络传输和数据恢复使用，提高磁盘I/O的利用率。基于水平‑垂直码的数据布局方式，提出基于节点间和节点内的恢复调度，调度节点间和节点内的数据恢复过程。

技术领域

本发明涉及数据存储及纠删码领域，特别涉及一种基于多级调度的纠删码恢复方法和系统。

背景技术

在大数据时代，海量数据的存储正面临通过冗余机制保证可靠性与提高空间利用率降低存储成本的矛盾。目前存储机群大都由商用服务器构成，常态化的组件故障威胁存储系统的可靠性。磁盘阵列、副本和纠删码是用于保证数据可靠性的主流机制。然而，磁盘阵列造价昂贵，性价比低，且作用于单机，无法保证分布式系统的节点数据可靠性。副本机制简单，高效，是当前最为普遍的数据组织方式，但副本机制以多副本的形式保证数据可靠性，导致存储成本较大，特别是当前激增的海量数据环境。在3副本的情况下，副本占用3倍的磁盘存储开销。然而，纠删码只占用副本机制一半的磁盘存储开销，可以获得较副本机制更高的存储可靠性。在PB-EB级存储系统汇总，纠删码可以节省几十万到几个亿的存储成本。纠删码存储方式，既具有较高的空间利用效率，又能保证数据存储的可靠性，越来越多的应用于存储系统当中，在Google的GFS、Microsoft的Azure以及Facebook的存储系统等商业系统和HDFS、GlusterFS、CEPH等开源存储系统中都有应用。

纠删码机制通过可逆矩阵保证数据的可靠性。纠删码机制通过编码矩阵生成校验块，同样可以通过大小为k*k的编码矩阵的逆矩阵(编码矩阵与对应逆矩阵相乘为单位阵，纠删码条带中保证k个块可以在正常访问，则可以通过这k个块还原丢失的块)还原丢失块。纠删码机制基于伽罗瓦域将大小为m*k的编码矩阵与k个数据块相乘，生成m个校验块，数据块和校验块组成一个大小为(k+m)的条带并分布到不同的存储节点中。m*k的编码矩阵和k*k的单位阵组成通过数据块生成整个条带的编码矩阵，其中，大小为k*k的单位阵乘以k个数据块还是原来的数据块。当条带内任意N(N＝m)个块丢失时，可通过条带内任意k个可访问的存活块在编码矩阵中对应的行向量组成的子矩阵的逆矩阵乘以这k个块，得到条带内的数据块，如果丢失的块中存在编码块，再生成对应的编码块。

纠删码恢复过程中涉及的数据量与副本机制成几何倍数关系(条带大小为k+m的RS(k,m)编码,数据恢复过程需要读取k个块，然后存储恢复得到的丢失块，涉及数据量是k+1，恢复总量是副本机制的k+1倍)，对存储、网络和计算资源造成了巨大的负载。当存储系统中发生N个磁盘或者存储节点失效时，元数据服务器获取失效的N个磁盘(存储节点)存储的块，以及这些块所对应的待恢复条带。纠删码恢复调度器需要按照一定的规则对这些条带进行恢复。在纠删码的恢复过程中，针对每个待恢复的条带需要读取该条带内的可访问的k个存活块，然后将通过解码计算恢复丢失块，并将完成恢复的丢失块写到另一个节点进行存储。在纠删码的恢复过程中产生的大量数据需要通过磁盘进行读取，通过网络进行传输，通过CPU和内存资源完成计算，将造成对磁盘和网络以及CPU和内存的巨大负载。相对仅需要保证机群内有3个副本的副本机制(3副本机制仅能允许少于2个副本丢失)，纠删码机制在整盘数据恢复过程中涉及的数据量是副本机制的(k+1)倍。例如，在RS(4,2)编码和副本机制的对比中，使用4TB进行数据存储，纠删码机制恢复过程中的数据量达到20TB，副本机制仅有4TB。纠删码在恢复过程中产生的大量数据，对磁盘、网络、内存和CPU造成了I/O负载和计算负载。

针对纠删码的恢复优化机制，关键是划分恢复执行流程，提出一种多级资源的调度算法，能够在数据读取阶段对参与恢复的条带和条带内参与恢复的块进行决策和调度，在数据传输的网络调度过程中，针对不同的条带进行调度最大化网络资源利用率，在恢复重建阶段(解码计算)针对各节点的CPU和内存资源进行调度，最大化并行恢复能力。