[发明专利]应用于分布式存储系统的超安存编解码方法

摘要

本发明公开一种应用于分布式存储系统的超安存编解码方法，该方法将RS算法融入分布式存储系统，解决一般云存储支撑方法采用的简单复制备份方法所造成的磁盘空间的浪费问题，使大规模数据云存储解决方案在拥有超高性能的前提下，提高磁盘的利用率，保障数据的安全性，降低系统总能耗，节约成本。按照本发明的超安存编解码方法，以参数（M，N）配置系统，则系统中任意不大于N-M台块数据存储节点宕机，均可根据剩余节点解码出原数据，充分保证数据的安全性，元数据服务器能够不断的检测数据块的有效情况，对无效的数据块能够自动恢复原始数据块，又同时以比较小的冗余代价，降低了成本。

主权项

一种应用于分布式存储系统的超安存编解码方法，所述其特征在于包括：配置编解码参数（M，N），其中M为原始数据块数目，N为RS编码后数据块数目；客户端写数据时将文件进行顺序分组，每组为X字节大小，X为任意正整数，再对每个组进行顺序分块成M块，每块为连续X/M字节的大小；对于每一个分组，客户端把该分组的M个数据块存到M个不同的块数据服务器，元数据服务器记录该分组的块存储信息；客户端读数据时，当目标块数据服务器无法访问时，客户端从分组内的任意其余M台可访问的数据块服务器读取数据，并通过RS解码得到目标数据；块数据服务器收到元数据服务器的编解码任务时，把元数据管理节点指示的分组中的M个数据块复制到本地，以每个块为矩阵的一行，构造成一个M行的矩阵，并根据块索引计算出当前需编解码的数据块在分组中所在的位置，如果小于等于M，则执行RS编码任务，产生冗余数据块；如果大于M小于等于N，则执行RS解码任务，产生原始数据块。