[发明专利]一种分布式文件存储系统及文件存储方法有效

专利信息
申请号: 201910410024.7 申请日: 2019-05-16
公开(公告)号: CN110188084B 公开(公告)日: 2021-10-15
发明(设计)人: 俞小浩 申请(专利权)人: 浙江讯盟科技有限公司
主分类号: G06F16/182 分类号: G06F16/182;G06F16/172
代理公司: 杭州丰禾专利事务所有限公司 33214 代理人: 王静
地址: 310012 浙江省杭州市文二西路*** 国省代码: 浙江;33
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 分布式 文件 存储系统 存储 方法
【权利要求书】:

1.一种分布式文件存储方法,其特征在于,该方法基于分布式文件存储系统实现,该方法包括以下步骤:

对每个存储单元预置一个唯一的存储单元编号,并对互备的存储单元之间建立关联;

文件写入:

文件存储系统的接收层接收到文件写入请求后,首先判断请求写入的文件是否是初次写入;

对于被初次写入的文件,文件存储系统为请求写入的文件分配存储单元,被分配的存储单元为该文件分配唯一的文件编号;

若待写入的文件已存在,直接向业务方返回该文件编号;

存储单元将存储文件的文件索引的关键信息实时反馈给缓存单元;

所有的存储单元,都将被预置一个唯一的簇号,不同的备份也将被预置一个不同的备份号,簇号与备份号一起组成全局唯一的存储单元编号;文件编号由存储单元编号+顺序增长的序列号组成,除初次写入时以外,所有对文件的访问都是通过文件编号来进行的;

所述判断请求写入的文件是否初次写入,包括:

将请求写入的文件的摘要信息、长度及一串任意位置的原始数据作为预存储操作上传;

按请求写入文件的摘要信息和长度从存储单元获取文件编号;

若能从存储单元中获取对应的文件编号,则根据文件编号获取该文件的指定片段,与待写入文件片断进行比对,若相同,则认为文件已经存在,否则请求写入的文件是初次写入;

文件存储系统中存储单元定时向所有接入服务通报本簇块的存储状况,文件存储系统综合考虑时间和可用空间,选择当前最合适的簇块,并按优先级向不同簇块下的存储单元发送文件写入请求;在文件存储系统中维护了一个由不同簇块下存储单元的簇块编号组成的环,并按环的顺序分配存储单元;在环中,可用存储空间越大的存储单元出现的次数越多,被分配到的比重就越大。

2.根据权利要求1所述的一种分布式文件存储方法,其特征在于,将所有互备的存储单元按存储单元编号组成一个环形的列表,当存储单元接收到一个写入请求时,在该存储单元完成写入操作,并判断是否还存在有未写入的备份节点,如有则向下一个备份节点转发数据及空间分配信息。

3.根据权利要求1所述的一种分布式文件存储方法,其特征在于,被分配的存储单元为初次写入的文件分配的文件编号包含其所在的存储单元编号信息和所在存储单元下的一个自增序列;对于根据文件编号指定的文件,由文件编号确定存储有该文件的存储单元编号以及关联的存储该文件备份的存储单元,写入时选取这组存储单元的首节点(存储单元编号最小者),读取时依次轮流从互备的存储单元中选取一个,并根据文件编号中的自增序列确定或分配要操作的块文件列表,根据偏移量确定数据在块内的物理地址,最终实现对选定文件的写入/读取操作。

4.根据权利要求1所述的一种分布式文件存储方法,其特征在于,对于已存储的数据进行读取操作时,运行数据容错处理:

当一个读取操作发生时,如果从当前轮循的存储单元中未能获取所需的数据,则依次尝试向其它与其互备的备份存储单元获取数据,获取成功时,将当批数据同步给获取失败的存储单元。

5.如权利要求1-4中任一项所述的分布式文件存储方法中的分布式文件存储系统,其特征在于,包括一组可扩展的响应单元、缓存单元和多个互备的存储单元,

响应单元作为接入层与请求方交互,将业务指令分拆成一系列功能指令,并依次与相应的功能组件进行交互,完成业务指令并向请求方作出响应;

缓存单元在内存中存储并实时更新文件索引的关键信息,缓存单元与响应单元交互,并为响应单元的功能实现提供支持;

存储单元基于操作系统的文件系统完成对文件的物理存储,针对响应单元的功能指令做出相应。

6.一种存储介质,存储介质上存储有计算机程序,程序被处理器执行实现如权利要求1-4中任一项所述的一种可在线实时调试的方法。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于浙江讯盟科技有限公司,未经浙江讯盟科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201910410024.7/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top