[发明专利]一种针对编码冗余存储系统的自适应数据存储与重构方法

说明书

技术领域

本发明涉及信息技术领域，特别是涉及利用编码冗余策略为基础存储架构的数据存储系统的自适应数据存储与丢失数据重构方法。

背景技术

与复制冗余技术相比，基于编码冗余的可靠性技术，在拥有相同容错能力的前提下具有更低的数据冗余和存储开销。但当系统中出现节点损毁或者数据块丢失时，基于复制冗余的存储策略仅需下载与丢失数据同样大小的数据量就可以实现修复过程，但基于编码冗余，如纠删码的冗余策略则至少需要下载k倍的丢失数据量才能解码重构出丢失数据。因而与复制冗余策略相比，纠删码冗余策略在文件恢复时要占用更多的网络带宽资源，这将会给数据中心中本来就比较紧张的网络带宽资源带来更大的压力，进而给数据的读取带来更大的性能影响。正是由于纠删码冗余策略在数据修复过程中需要更大的维护带宽，再加之需要更为复杂的管理策略，从而极大地限制了基于编码容错技术的应用和推广。

显然，如何利用体系结构的设计来避免编码冗余策略本身在重构带宽方面存在的劣势，或者使纠删编码存储系统具有更优的性能，同样是业界关注的焦点。近年，随着海量数据存储系统基础环节(如服务器性能、网络带宽、传输技术等)的飞速发展，系统结构研究的重心逐渐向客户端过渡。

本发明针对编码冗余存储系统中，当有文件分块丢失时，系统需要调用远大于丢失的数据量来重构丢失的文件分块的缺点，针对纠删码分布式存储的特点，提出了基于对等结构的分布式存储与重构方式。

发明内容

针对现有技术存在的问题，本发明的主要目的在于提供一种降低编码冗余存储系统的网络带宽压力和服务器端计算压力的自适应数据存储与重构方法。

一种针对编码冗余存储系统的自适应数据存储方法，该编码冗余存储系统包含服务器端和客户端，客户端向服务器端提出文件存储需求，该针对编码冗余存储系统的自适应数据存储方法包括如下步骤：

(1)该客户端计算待存储文件的哈希值，将待存储文件的哈希值上传至服务器端；

(2)将待存储文件的哈希值与服务器端已经存储的文件的哈希值进行比对；

(3)若出现相同的哈希值，则服务器端不接受该待存储文件的上传，但服务器端接受客户端上传的关于存储文件的文件信息，并建立该文件信息与已经存储的具有相同哈希值的文件的关联；若未出现相同的哈希值，则服务器端接受该待存储文件的上传，将上传的文件进行分块，计算并存储各文件分块的哈希值，将各文件分块进行编码产生校验数据分块。

进一步地，在步骤(1)客户端计算待存储文件的哈希值之前，服务器端先询问客户端是否愿意计算待存储文件的哈希值，若客户端不愿意计算待存储文件的哈希值，则将该待存储文件直接上传服务器端，由服务器端计算该待存储文件的哈希值。针对待存储文件直接上传服务器端，由服务器端计算该待存储文件的哈希值的情况，步骤(3)中若出现相同的哈希值，则对已经上传的待存储文件进行删除。

一种针对编码冗余存储系统的自适应数据重构方法，该针对编码冗余存储系统的自适应数据重构方法包括如下步骤：

(1)实时检测编码冗余存储系统服务器端是否有存储节点损毁；

(2)当有存储节点损毁时，系统将损毁存储节点的文件分块对应的哈希值标记为丢失状态，并判断损毁的存储节点数是否大于系统的设定值，该系统的设定值在编码所允许的容灾范围内；

(3)当损毁的存储节点数大于系统的设定值时，编码冗余存储系统服务器端利用内部计算资源对丢失的文件分块进行重构，当损毁的存储节点数不大于系统的设定值时，进入步骤(4)；

(4)实时判断是否有客户端提出读取文件请求；

(5)若有客户端提出读取文件请求，则判断待读取的文件是否有文件分块丢失；

(6)若待读取的文件有文件分块丢失，则判断客户端的硬件资源是否符合设定的硬件性能要求；

(7)若客户端的硬件资源不符合设定的硬件性能要求，则编码冗余存储系统服务器端利用内部计算资源对丢失的文件分块进行重构，将恢复出的文件分块提供给客户端；若客户端的硬件资源符合设定的硬件性能要求，则进入步骤(8)；

(8)询问客户端是否愿意参与丢失文件分块的恢复；

(9)若客户端愿意参与丢失文件分块的恢复，则客户端下载相关文件分块与可以满足恢复丢失文件分块的校验数据分块，对丢失的文件分块进行恢复。若客户端不愿意参与丢失文件分块的恢复，则编码冗余存储系统服务器端利用内部计算资源对丢失的文件分块进行重构。