[发明专利]一种多网盘下的增量纠删码存储方法及系统

摘要

一种多网盘下的增量纠删码存储方法及系统。多网盘下的增量纠删码存储方法包括：文件首先划分为若干“文件块”，并对“文件块”采用纠删码算法转化为若干“纠删数据块”，最后将全部“纠删数据块”分散存储在多个网盘中，并提供“文件块”级别的去冗余存储。多网盘下的增量纠删码存储系统包括：“网盘”装置，负责存储文件的数据内容；“文件系统元服务器”装置，负责存储文件系统的元数据及“文件块”去冗余管理；“文件系统客户端”装置，负责“文件块”的分解与合成、“纠删数据块”的编码与解码、“纠删数据块”的网盘上传与下载、去冗余、及对外提供文件访问服务。本发明能够有效地提高基于多网盘存储系统的可靠性、访问效率及空间利用率。

主权项

1.一种多网盘下的增量纠删码存储系统，其特征在于，所述系统包括“文件系统元服务器”装置、“文件系统客户端”装置和“网盘”装置；“文件系统元服务器”装置，用来管理及存储文件系统的元数据，并对文件提供“文件”级别和“文件块”级别去冗余管理；“文件系统客户端”装置，是用来管理系统配置信息库、“文件块”的分解与合成、“纠删数据块”的编码与解码、“纠删数据块”的网盘上传与下载、去冗余以及对外提供文件的透明访问；“网盘”装置，用来存储文件数据内容即“纠删数据块”，“网盘”装置包括各种公有云中的网盘、私有云中的网盘以及其它能够提供文件存取服务的文件服务器；“文件系统客户端”装置与“网盘”装置通过网络连接，“文件系统客户端”装置与“文件系统元服务器”装置既可以通过网络连接也可以本地直接连接；其中，“文件系统元服务器”装置包括：用户元信息管理模块、文件基本元信息管理模块、“文件块”元信息管理模块、“文件块纠删”元信息管理模块、“纠删数据块”元信息管理模块、网络传输模块和本地存储介质；用户元信息管理模块负责管理用户的基本信息，用户的基本信息包括用户编号、用户名称、用户访问口令、用户根目录文件编号和文件块默认大小；文件基本元信息管理模块负责管理文件的基本元信息，文件基本元信息包括文件编号、文件名称、文件大小、文件指纹摘要、所属父目录文件编号、文件块默认大小和默认“纠删码参数对”，所述“纠删码参数对”即“编码后片数”n和“编码前片数”k，其中n>＝k，文件编号是文件的唯一标识；“文件块”元信息管理模块负责管理“文件块”的基本元信息管理和文件的“文件块序列”信息管理；“文件块”基本元信息包括文件块编号、文件块大小、文件块指纹摘要、“纠删码参数对”和当前引用数，其中，文件块编号是文件块的唯一标识，引用数为当前包含该“文件块”的不同文件的总数；文件的“文件块序列”信息包括文件编号、文件块序号、文件块编号和起始偏移量组成的四元组序列，其中文件块序号为“文件块”在该文件中的顺序编号；“文件块纠删”元信息管理模块负责管理文件块所包含的“纠删数据块”集合，“文件块纠删”元信息是由文件块编号和纠删数据块编号组成的二元组；“纠删数据块”元信息管理模块负责管理纠删数据块的基本元信息，“纠删数据块”基本元信息包括纠删数据块编号、纠删数据块大小、纠删数据块指纹摘要、网盘编号、网盘路径和当前引用数，其中，纠删数据块编号是纠删数据块的唯一标识，引用数为当前包含该“纠删数据块”的不同“文件块”的总数；本地存储介质负责存储“文件系统元服务器”装置中所管理的上述各种元数据信息；网络传输模块负责“文件系统元服务器”装置中其它模块与“文件系统客户端”装置以及“网盘”装置的网络通信；“文件系统客户端”装置包括：应用程序、文件访问接口模块、文件块信息管理模块、文件块分解与合成模块、纠删码编码与解码模块、网盘访问模块、网络传输模块、系统管理模块和本地存储介质；应用程序为进行文件访问的各种第三方计算机程序，即调用者；文件访问接口模块负责调用者的文件访问操作，包括将调用者的文件访问操作所要访问的文件区域转化为“文件块”编号序列，将调用者写访问文件区域的新数据合并到所属文件中，以及将调用者读访问文件区域从所属文件中读取到调用者所指定的空间；文件块信息管理模块负责对文件、“文件块”、“纠删数据块”的元信息及对应关系的检索和更新；文件块分解与合成模块负责对指定文件进行“文件块”的分解以及将“文件块”合成为文件的功能；纠删码编码与解码模块负责将指定的“文件块”采用纠删码算法进行编码运算生成“纠删数据块”集合，以及将一组“纠删数据块”集合采用纠删码算法进行解码运算合成“文件块”；网盘访问模块负责与外部各种网盘数据的访问操作，访问操作包括对“纠删数据块”的上传、下载和删除；网络传输模块负责通过外部网络与各种网盘和“文件系统元服务器”装置的数据通信；系统管理模块负责用户信息、网盘信息以及系统全局配置信息的管理；用户信息包括用户编号、用户名称、用户根目录文件编号和文件系统元服务器的访问口令；网盘信息包括网盘编号、网盘名称、网盘用户名、网盘访问口令、网盘网络地址、网盘路径用户根目录以及网盘容量限制，其中网盘编号是网络的标识；系统全局配置信息包括用户信息存储位置、网盘信息存储位置、默认文件块大小和默认“纠删码参数对”；本地存储介质负责长期或者临时存储“文件系统客户端”装置中其它模块所处理的各种数据；“文件系统客户端”装置中，网盘访问模块通过调用网络传输模块来访问各个网盘；文件块信息管理模块通过调用网盘访问模块对网盘上的文件数据进行去冗管理的；文件块分解与合成模块通过调用网盘访问模块来访问各个网盘；文件块分解与合成模块通过调用纠删码编码与解码模块来实现文件块与纠删数据块之间的转换；文件块信息管理模块通过调用网络传输模块来访问“文件系统元服务器”装置从而实现文件系统各种信息的检索和更新；文件块信息管理模块通过访问系统管理模块、文件块分解与合成模块以及纠删码编码与解码模块来实现文件数据的本地处理，并向上层的文件访问接口模块提供“文件块”级别的文件访问操作；“文件系统客户端”装置中，文件的数据内容以“文件块”为对外提供文件访问服务的最小访问单元，针对每个“文件块”采用纠删码算法转化为一组“纠删数据块”，以“纠删数据块”为最小的存储单位，全部“纠删数据块”分散存储在多个“网盘”装置中；文件的基本元信息、文件的“文件块序列”信息、“文件块”的基本元信息、“文件块纠删”元信息和“纠删数据块”基本元信息均最终存储在“文件系统元服务器”装置中，“文件系统客户端”装置中可以缓存上述元信息；“文件系统客户端”装置依据“文件块”对应的“纠删码参数对”采用纠删码算法编码运算将该“文件块”编码转化为n个“纠删数据块”，“文件系统客户端”装置可以通过获取上述n个“纠删数据块”中的k个“纠删数据块”并采用纠删码算法进行解码运算恢复出原“文件块”；同一个文件内的每个“文件块”的“纠删码参数对”即可以相同也可以不同，每个“文件块”的“纠删码参数对”存放在该“文件块”的基本元信息中；不同文件的各个“文件块”的“纠删码参数对”即可以相同也可以不同，每个文件的“纠删码参数对”存放在该文件的基本元信息中；所有文件的全部“文件块”可共用相同的“纠删码参数对”，由“文件系统客户端”装置中系统全局配置的默认“纠删码参数对”来决定；“文件系统元服务器”装置提供“文件”级别和“文件块”级别去冗余管理是指，“文件系统客户端”装置需要将新创建或者修改的文件的最新“文件指纹摘要”更新到“文件系统元信息服务器”装置中，“文件系统元信息服务器”装置将判断该文件的“文件指纹摘要”是否与已有文件的“文件指纹摘要”相同，如果该文件与已有文件的“文件指纹摘要”相同，则“文件系统元信息服务器”装置将直接用已有文件的“文件块序列”更新该文件的“文件块序列”，从而减少该文件的数据内容的重复存储；“文件系统客户端”装置需要将新创建或者修改的“文件块”最新“文件块指纹摘要”更新到“文件系统元信息服务器”装置中，“文件系统元信息服务器”装置将判断该“文件块”的“文件块指纹摘要”是否与已有“文件块”的“文件块指纹摘要”相同，如果该“文件块”与已有“文件块”的“文件块指纹摘要”相同，“文件系统元信息服务器”装置将直接用已有“文件块”的“文件块纠删元信息”更新该“文件块”的对应“文件块纠删元信息”，从而减少该“文件块”的对应“纠删数据块”的重复存储；“文件系统元服务器”装置负责提供“纠删数据块”的当前引用数的查询，“文件系统客户端”装置负责对零引用数的“纠删数据块”从其所属的网盘中删除；“文件系统元服务器”装置负责提供“文件块”的当前引用数的查询，“文件系统元服务器”装置也负责对零引用数的“文件块”的文件块元信息和文件块纠删元信息进行删除；“文件系统客户端”装置访问网络上的多个网盘所需要的“网盘信息”均存储在“文件系统客户端”装置中；“文件系统元信息服务器”装置无权访问网络中的多个网盘上用户所拥有的文件的对应“纠删数据块”；“文件系统元信息服务器”装置中所管理的元信息既可以存储在“文件系统元信息服务器”装置中的“本地存储介质”上，也可以存储在网络中的一个或者多个网盘上；当“文件系统元信息服务器”装置中所管理的元信息存储在网络中的一个或者多个网盘上时，“文件系统元信息服务器”装置需要拥有属于自己的网盘信息。