[发明专利]一种利用分布式数据编码的存储方法

摘要

本发明提供一种利用分布式数据编码的存储方法，客户端进程接收到来自缓存的数据后，进行编码计算生成校验数据块；完成编码以后，客户端发送数据片到所有的服务器端，每次一个服务器返回写成功后，在客户端维护计数器，根据系统的配置参数，当达到可以恢复数据的不同级别，则对写失败的服务器节点不再进行重写。该一种利用分布式数据编码的存储方法和现有技术相比，利用矩阵的运算实现了灾备方案，允许任意多个存储节点或者磁盘故障，使传统的纠删码或者矩阵运算的CPU占用率大大降低；实用性强，易于推广。

主权项

一种利用分布式数据编码的存储方法，其特征在于其具体存储过程为：一、客户端进程接收到来自缓存的数据后，进行编码计算生成校验数据块，该校验数据块可保证在3个节点或者磁盘损坏情况下使用，数据块与校验块的数目采用N+M方式，N是数据块的数目，M是校验块的数目，N为大于等于1的自然数，M为大于等于3的自然数；二、当完成编码以后，客户端发送数据片到所有的服务器端，每次一个服务器返回写成功后，在客户端维护计数器，根据系统的配置参数，当达到可以恢复数据的不同级别，则对写失败的服务器节点不再进行重写；所述步骤一中客户端实时进行编码计算采用的为2+2分组并行高速编码方式，该方式的具体内容为：3个数据块为一组，采用两组分别编码方式形成各自的校验块数据，同时进行整个6块数据的总体编码，此时产生3个校验块，冗余度达到3；所述步骤二的详细过程为：当客户端收到读请求时，由客户端发送读指令到所有的存储服务器节点，在客户端等待接受各个存储服务器返回的数据，当客户端对返回的数据进行一致性检测和计算器的累积以后，对于优先返回的校验块进行缓存，缓存个数根据配置确定，如果后续返回所有正常的数据块，则数据块返回给用户调用，缓存的校验块丢弃；当正常读的过程中发现有数据块无法读取或者根据标记位发现已经损坏，则由缓存的校验块填充，并且根据2+2的分组情况，进行解码计算，得到数据后，再返回给上层调用的用户。