[发明专利]云存储系统的数据处理方法

说明书

技术领域

本发明涉及云存储系统，特点是一种基于里的所罗门的云存储系统的数据处理方法。

背景技术

在当今风起云涌的时代，云存储作为云的基础架构和最广泛的应用得到了极大的重视。在云存储系统中，用户数据存放于系统的云端，而构成云端的存储节点是用户不可控的。用户的数据可能被未经授权的第三方挖掘比对或者恶意篡改。

同时，在云端单个或者多个存储节点缺失、失效的情况下(随着云端的扩展，存储节点故障的几率将增加)，用户数据丢失的可能性极大。上述情况表明，云存储的发展亟需一种能完全保证用户数据完整性、隐私性和可靠性的安全机制。

目前基于所有的云存储技术都是采用一种类似Hadoop(云计算的一种开源软件)系统中的HDFS(Hadoop Distributed File System，即Hadoop分布式文件系统)。该技术主要是将一个数据文件按照设定的大小分成若干块，再通过对每一个数据完整备份(例如Hadoop中的HDFS设置有3份相同备份)来提高可靠性，该技术的缺点是浪费存储空间。

里的所罗门纠错编码方法：其原理是，计算信息码符多项式除以校验码生成多项式之后的余数，具体公式是：

F mod D＝C；

其中F为原始数据，D是生成多项式，C为生成的冗余纠错数据。mod为求余运算。

而在解码时，为简单起见，假定存入原始的信息符号为m₃、m₂、m₁、m₀和由此产生的检验符号Q₁、Q₀，而读出的符号为m₃′、m₂′、m₁′、m₀′、Q₁′和Q₀′，如果计算由此得到的校正子s₀和s₁不全为0，则说明有差错，再通过计算错误多项式以及错误值，将错误纠正过来。

该方法广泛应用于DVD光盘数据的处理，该编码方法能很好的提高对原始数据的纠错能力，能将数据的随机错误率从2×10^-2降低到1×10^-15。在本发明中我们将该编码方法将一个数组形式的数据块，在横向和纵向分别进行里的所罗门编码，获得横向和纵向纠错冗余数据，这样就对数据进行了双重的纠错保护，提高了纠错能力，而且这些冗余数据只占原来数据量的13％。

正是由于在较低的数据冗余的情况下能如此高效的进行数据纠错，而一般的云存储系统均未采取此种纠错方法，只是通过数据备份来达到数据恢复的能力，一般云存储系统均须备份3份及以上，显然将极大地浪费数据的存储空间，提高成本，

发明内容

本发明要解决的技术问题在于，提供了一种云存储系统的数据处理方法，该方法将提高云存储系统中数据的安全性，可恢复性，降低数据备份数目，极大的节约数据的存储空间，降低成本。

本发明的技术解决方案如下：

一种云存储系统的数据处理方法，其特点在于，对云存储系统的数据存入和数据提取分别采用里的所罗门编码数据纠错编码处理和里的所罗门纠错解码处理。

所述的数据存入方法，包括以下具体步骤：

①将待存储的原始数据分成K个帧数据，每个帧数据包含相同的固定长度N比特的数据，当最后一个原始数据帧的数据长度小于N时，对最后一块数据帧填充数据‘0’，以达到长度N，其中K为大于大于1的正整数，N的取值范围为：200＜N＜2000：

②对所述的每一个数据帧加上编号，即ID，得到一个新数据帧，所述的ID长为4个字节，从0001开始递加，故新的数据帧的长度为(N+4)；

③将所述的新的K个数据帧再组合为W个数据块，每一个数据块包含M个数据帧，形成一个M*(N+4)的数据矩阵，当最后一个数据块的数据帧的个数小于M时，对该数据块填充‘0’数据帧，以使最后一个数据块达到固定的数据帧M，其中M，W的取值范围分别为：200＜M＜2000，W＝K/M；