[发明专利]一种数据存储方法及装置

说明书

本发明公开了一种数据存储方法，包括：客户端将非满条带的原始数据发送至一个数据节点；在数据节点处将非满条带的原始数据额外复制M份并发送至其他M个数据节点，从而将N+M纠删码在非满条带时转为M+1副本存储，其中，N表示满条带时原始数据的个数，M表示校验数据的个数，非满条带的原始数据的个数小于N；写入M份的原始数据之后响应客户端。本发明的实施例在不降低可靠性的前提下，将N+M纠删码非满条带写转化为M+1副本的方式，这样可以大大降低N+M纠删码补齐所带来的额外开销，从而降低了写的延迟。对于小块随机写的应用程序有较大的性能提升，并且保持了可靠性。另外，本发明还公开了相应的数据存储装置。

技术领域

本发明涉及数据存储技术领域，具体来说，涉及一种数据存储方法及装置。

背景技术

存储系统容错通常有数据备份和纠删码两种技术。使用备份技术带来的额外存储开销很大，导致存储成本非常高。随着信息系统规模的不断扩大，备份技术难以兼顾存储系统的空间利用率和容错能力的要求。相较之下，纠删码具有更高的空间利用率、更好的适应性和更高的可靠性。在分布式存储系统中，纠删码技术将原始数据进行编码得到冗余，并将原始数据和冗余存储起来，从而达到容错效果。当前纠删码技术的研究主要包括RS类编码、再生码、局部冗余编码、高性能新型编码方式等几个方面。

(1)RS类编码

RS码因其简单的编解码方式和灵活的参数选择被广泛应用于实际系统中，如Google、Facebook和Microsoft旗下的存储系统。虽然RS码可以在维持与副本方式同等可靠性的前提下大大减少存储开销，但其在数据修复阶段需要大量的数据读取、传输等开销。许多纠删码策略在RS基础进行了改进。Rotated-RS编码方式通过使用一些数据块在解码时重复使用来减少修复过程中数据的读取和网络传输量。Z-code的编码在数据修复方面的网络带宽传输量和磁盘开销都可以达到再生码的最优权衡，但该编码方式极大地牺牲了可靠性。

(2)再生码

针对纠删码节点修复需要消耗大量的网络带宽问题，Dimakis等人基于网络编码提出了优化修复带宽的再生码，在修复失效节点时，取较多的节点参与修复过程，且参与修复的节点首先会通过编码向量等在本地首先进行线性组合再传输，降低了维持系统可靠性所需要的存储开销和节点修复所需的带宽开销。再生码相较于RS码大大减少了单错修复的数据开销。

Rashmi等提出了一个名为MISER的再生码，该编码利用干扰对齐方式保证了数据信息的再生。但是其校验信息的修复是产生了全新的校验数据。Exact-Repair MSR方法通过干扰对齐方式确保了所有节点信息都可以精确地恢复。不过，这两种方式和最新提出的PM-RBT都是必须要求校验节点个数大于数据节点个数(存储开销大于2X)，数据的有效存储率较低，不具备实用性。FMSR是功能性修复的一种，且其不是系统码，只保存编码后的校验节点信息，所以要获取有效数据都需要进行高额的计算开销。Butterfly codes是可以应用在2X存储开销之下的系统再生码，数据丢失后可以精确修复，不会产生额外计算开销。但该编码方式只能容两个错，而这在现在的分布式系统中是完全不够用的，难以维持系统的高可靠性。所以总的来说再生码因其不同的局限性而难以被应用到实际系统中。

(3)局部冗余编码(LRC)

Facebook的LRC(Local Repairable Code)采用LRC(16，6，5)编码，其中使用CRS(14，4)来保障任意4块故障，同时增加了2块局部的校验块，从而使任意单块故障的修复成本由10降到5。微软的LRC也是通过增加局部校验块来提高单块故障的重构效率。富士通的Shec实现了多硬盘LRC，提出了局部校验组的概念，并相互遮掩来提高多块故障的重构效率。HACFS系统则利用了局部重建码的特点，在系统内部使用同一编码系列的两组不同编码参数。因为编码结构相似，所以可以动态地根据工作负载转换编码需求。快编码可以提供较为快速的重建修复，紧凑编码可以提供较为小的存储开销。

(4)新型高性能编码方式