[发明专利]一种基于十字交叉纠删编码的快速数据恢复方法及系统

说明书

本发明提出一种基于十字交叉纠删编码的快速数据恢复方法及系统,该方法包括数据写入时，按照LRC编码方式进行计算，将全局编码块两两分组，将每个分组内的全局编码块分成两部分，将全局编码块的后半部分与另一块全局编码块的前半部分异或后，写入当前全局编码块的后半部分中，当第一个全局编码块丢失时，读取数据块的后半部分，获得丢失数据块的未做异或前的两个后半部分，另一块全局编码块的后半部分异或操作前跟后做异或操作得到丢失数据块的前半部分，丢失数据块的异或前数据与另一块全局编码块的前半部分做异或操作得到丢失数据块的后半部分；数据按照条带方式刷回到对应的磁盘中进行存储，当数据写入存储服务器后，进行异步纵向编码计算。

技术领域

本发明涉及数据存储及恢复技术领域，特别涉及一种基于十字交叉纠删编码的快速数据恢复方法及系统。

背景技术

在云计算虚拟化大背景下，海量数据的存储依然作为一个关键问题而存在，存储设备的价格虽然逐渐走低，但是数据量的激升依然为数据中心的存储带来了较大的成本，在传统机械盘跟NVMe设备并行的现状下，机械盘依然作为存储的主力，而NVMe设备也需要一些技术方案来降低存储的单位成本。

纠删码为了解决RAID机制只能容错2块数据丢失和副本需要3倍存储的情况下，应运而生，目前纠删码已经被各大开源和商业系统采纳，纠删码的存在为系统带来了较大的CPU、带宽消耗，同时纠删码通过对数据块的逆运算来还原丢失的数据块，因此，在纠删码技术应用的同时，恢复成为重要的研究目标。

目前开源文件系统中，对数据的存储大致有以下三种模式：基于底层硬件系统、基于副本机制和基于纠删码机制。

开源文件系统Lustre没有副本的概念，数据按照条带的方式存储在节点底层硬件，数据的安全性由底层硬件进行保护，本身并未提供冗余机制防止节点失效，底层硬件一般为raid盘阵等设备，运行于服务器内部或者为单独的盘整，因此，运行lustre的节点一旦因为其他问题宕机，lustre的数据将不能正常访问，传统存储采用JBOD提供服务，通过FC、iSCSI、FCoE等协议进行交互，需要依赖固定厂商的支持，设备费用高昂，不容易扩展。

开源文件系统HADOOP、CEPH等提供了副本机制，通过将数据的三个副本分布在不同的节点来达到数据的可靠性，任一副本丢失，可以通过复制就近的副本来恢复到三个副本的冗余量，根据不同的安全性，将数据的副本数设置为2、3、6等，通常生产环境数据的副本数在3-6之间，因此，一个额定1PB的存储系统，实际需要的存储空间为3PB，大大提高的数据的存储成本。

由于副本带来的额外200％的存储开销，近年来，纠删码作为一种新型存储形式开始出现，目前像HADOOP、CEPH、GLUSTERFS等系统已经将纠删码机制实现于系统内部，但是考虑到纠删码计算的开销，目前大多用于冷数据的存储，即将写入系统内部的数据，先存储为副本模式，然后在数据访问热度下降的时候，转化为纠删码的形式进行存储。纠删码存储需要消耗较大的CPU性能来完成运算，同时，数据丢失时，需要将条带内分布在各个节点内的数据读到某一节点再进行计算。因此，纠删码的运用为系统带来了额外的CPU消耗和带宽消耗。

目前的数据存储方案共有三种，分别为RAID阵列、副本和纠删码。

RAID阵列目前较为通用，用于单节点存储，为其他节点提供共享服务和数据存储，但是RAID阵列存在以下问题：

a、数据通过单一入口进入，虽然通过硬件进行计算，但带宽依然较低，不能发挥出磁盘的性能；

b、数据只能容忍两个磁盘失效，如果超过两块磁盘，数据将无法恢复；

c、数据只能位于单一节点上，由一块raid卡进行管理，无法跨越节点，因此，宿主节点宕机，系统将无法使用。

副本机制为目前分布式文件系统的主要冗余手段，通过多副本的模式，来提供较高的可靠性，但存在以下问题：