[发明专利]一种基于网络编码的低冗余云存储系统及其实现方法

说明书

 

技术领域

本发明分布式文件存储系统，具体是使用多台运行在GNU/Linux操作系统的普通计算机和一组Linux应用程序。用户在启动系统程序后，即可将这些计算机组成一个基于网络编码的云存储系统。该系统能够以较小的冗余存储开销获得更大的容错等级，它支持存储节点的动态加入和离开，同时保证系统中所存储的文件的稳定性与持久性。同时，该系统能够作为数据中心接入互联网，为外部应用提供存储服务。

背景技术

随着信息技术的发展，各类应用系统的数据都在呈指数级增长。一方面，随着物联网应用的不断发展和演进，物联网环境的数据规模呈现放射性增长；另一方面，随着以社交网络、电子商务等为代表的新兴行业的兴起与深入发展， 越来越多的互联网公司产生并积累了巨量的数据。云计算技术通过有效集成网络上各种可用资源，并建立共享与复用机制，为海量信息存储提供了支撑平台，在一定程度上满足了各类应用系统发展的需求，并大大降低了企业运行成本。但云计算环境中资源节点的动态性及网络拓扑的动态性也对数据可靠存储带来挑战。如何建立可靠的数据容错存储机制，并有效降低容错存储的信息冗余度，已成为影响云存储技术发展的一个主要技术瓶颈。

发明内容

本发明所要解决的技术问题是提供一种基于网络编码的低冗余云存储系统及其实现方法，该系统能够以较小的冗余存储开销获得更大的容错等级，它支持存储节点的动态加入和离开，同时保证系统中所存储的文件的稳定性与持久性。该系统能够利用系统内部各个机器的网络拓扑结构，选取合适的机器参与解码、文件修复等以数据传输为基本操作的运算。

为实现上述目的，本发明所述的一种基于网络编码的低冗余云存储系统，该系统包括若干台运行着GNU/Linux操作系统的普通计算机，其中一台作为名字节点，其余为数据节点，此外，还包括以下三个模块：

基于网络编码的文件块存储模块：用来对存储文件块进行切分与网络编码，以保证系统的容错性以及存储开销的低冗余性；

并行化网络编码策略模块：系统存储节点并行地对原始文件切片进行网络编码，以获得更高的系统吞吐率；

网络拓扑感知的失效修复策略模块：在系统中某些节点失效的情况下为了保证存储文件的可靠性，需要启动修复进程已恢复存储文件的容错等级。

本发明还提供了该基于网络编码的低冗余云存储系统的实现方法，包括以下步骤：

1）基于网络编码的文件块存储，其具体步骤包括：

11）客户端申请文件存储时，在申请函数中附以文件长度和网络编码策略提交给名字节点；名字节点收到申请后通过计算返回客户端一个长整型的blockSize作为客户端进行文件切片的大小，同时生成一个网络编码矩阵维护在索引空间；

12）客户端建立一个以存储文件为基础的数据流，根据blockSize的大小，将数据流切分为几个原始文件块，每个文件块有唯一的ID作为标识；

13）客户端通过与名字节点交互，为每一个原始文件块获得存储数据节点，并将其通过网络链的形式依次发往各个数据节点；

14）数据节点在接收到相应数据块之后通过读取头部信息，对获到得的数据块网络编码并以网络编码文件块的形式进行存储；

15）文件读取过程中能够读取系统的索引空间，寻找相应的网络编码文件块的位置，获得这些网络编码文件块之后能够利用索引空间中保存的网络编码矩阵进行解码，以获得原文件；

2）并行化网络编码策略，其具体步骤包括：

21）各个数据节点以客户/服务器模式等待客户端的原始文件块写入操作；

22）每个数据节点在接收到原始文件块之后读取文件块头部信息，并维护一个映射表，决定该文件块所要执行的操作，包括网络编码或者暂存，其中：

221）如果是某一个网络编码文件块的组成部分，并且该网络编码文件块信息不在映射表中，则数据节点直接缓存该文件块，转步骤23）；

222）如果是某一个网络编码文件块的组成部分，并且该网络编码文件块信息存在于映射表中，则数据节点将该文件块与缓存的文件块进行网络编码并继续缓存或者写磁盘存储；如果数据节点得到了网络编码文件块所需的全部原始文件块并网络编码完毕，则将这个网络编码文件块存储，否则，数据节点继续缓存并等待；

23）数据节点在一个网络编码文件块完成之后进行更新映射表操作，然后将这个索引信息写在一个列表中，等待周期性的上报，写入索引空间；