[发明专利]一种多网盘下的增量纠删码存储方法及系统

说明书

一种多网盘下的增量纠删码存储方法及系统。多网盘下的增量纠删码存储方法包括：文件首先划分为若干“文件块”，并对“文件块”采用纠删码算法转化为若干“纠删数据块”，最后将全部“纠删数据块”分散存储在多个网盘中，并提供“文件块”级别的去冗余存储。多网盘下的增量纠删码存储系统包括：“网盘”装置，负责存储文件的数据内容；“文件系统元服务器”装置，负责存储文件系统的元数据及“文件块”去冗余管理；“文件系统客户端”装置，负责“文件块”的分解与合成、“纠删数据块”的编码与解码、“纠删数据块”的网盘上传与下载、去冗余、及对外提供文件访问服务。本发明能够有效地提高基于多网盘存储系统的可靠性、访问效率及空间利用率。

技术领域

本发明属于计算机领域，主要关注提高基于多网盘的文件可靠性、存储空间高效利用、且可高效率访问的装置系统和方法。

背景技术

在公有存储云情况下，基于多网盘的文件存储能够有效防止公有存储云的服务商对用户文件的非法访问，同时基于多网盘的文件纠删码存储还能有效降低对特定存储云服务商的绝对依赖问题。目前已有的解决方案是用户将文件整体进行纠删码编码后将纠删码文件存储到不同的网盘上，这种方案的缺点是：即便用户只想读取该文件的部分内容，也需要用户将多个网盘上的纠删码文件全部下载到本地，然后再采用纠删码解码生成整个原文件，最后读取该文件的指定部分内容，这种解决方案下对文件的访问效率极低，因为用户不得不下载整个文件；并且在用户拥有大量相似文件时也大大浪费了用户在存储云上的空间利用率。

发明内容

本发明目的是解决现有公有存储云解决方案下对文件的可靠性低、访问效率极低以及存储云空间的无效浪费问题，提供一种多网盘下的增量纠删码存储系统和方法。本发明针对文件先进行分块、然后针对文件块进行纠删码编码并把纠删码数据块存放到不同网盘上，这样既提高了用户文件的可靠性、提高了用户存储云空间的利用率，也提高了用户访问文件的访问效率。

本发明给出的多网盘下的增量纠删码存储系统至少由一个或多个网盘以及“文件系统元服务器”装置和“文件系统客户端”装置组成；本发明给出的多网盘下的增量纠删码存储方法，采用对文件先进行分块、再针对每个文件块进行纠删码编码，并把多个纠删码数据块上传到多个网盘的方法。

本发明技术方案

1.一种多网盘下的增量纠删码存储系统，所述系统包括“文件系统元服务器”装置、“文件系统客户端”装置和“网盘”装置；“文件系统元服务器”装置，主要是用来管理及存储文件系统的元数据，并对文件提供“文件”级别和“文件块”级别去冗余管理；“文件系统客户端”装置，主要是用来管理系统配置信息库、“文件块”的分解与合成、“纠删数据块”的编码与解码、“纠删数据块”的网盘上传与下载、去冗余以及对外提供文件的透明访问；“网盘”装置，主要是用来存储文件数据内容即“纠删数据块”，“网盘”装置包括各种公有云中的网盘、私有云中的网盘以及其它能够提供文件存取服务的文件服务器；“文件系统客户端”装置与“网盘”装置通过网络连接，“文件系统客户端”装置与“文件系统元服务器”装置既可以通过网络连接也可以本地直接连接；

其中，