[发明专利]一种分布式存储系统有效
申请号: | 201711426419.3 | 申请日: | 2017-12-25 |
公开(公告)号: | CN109960460B | 公开(公告)日: | 2022-02-25 |
发明(设计)人: | 葛宝梁 | 申请(专利权)人: | 上海盛霄云计算技术有限公司 |
主分类号: | G06F3/06 | 分类号: | G06F3/06 |
代理公司: | 上海市海华永泰律师事务所 31302 | 代理人: | 包文超 |
地址: | 201210 上海市浦东新区自*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 分布式 存储系统 | ||
1.一种分布式存储系统,其特征在于由Master模块,Client模块,BlockNode模块,Zookeeper cluster模块组成;
所述Master模块负责用户业务逻辑处理,存储资源管理调度,数据多备管理控制;
所述Client模块负责在宿主机上对存储模块的管理操作,包括存储设备的挂载,卸载,存储设备和物理设备的映射,同时提供数据通道;用户对数据的访问通过网络传输到所述Client模块,再通过所述Client模块实现对具体设备的读写;
所述BlockNode模块负责对存储介质的管理,所述BlockNode模块实现对存储服务器上的存储空间管理,将所述存储空间通过文件的形式进行划分,用户数据通过调度存储在文件上;
所述Zookeeper cluster模块负责整个系统集群信息一致性同步;以及
卷标的元数据管理:为每个所述卷标创建一个元数据文件,以blockID.vol命名,记录所述卷标的版本号和其对应的文件;在所述卷标创建分配块时,通过查询bitmap位图,来查找没有使用的文件;所述卷标对应的文件分散在不同的硬盘;
所述卷标的元数据文件保存在/root/BlockNode模块/目录下,bitmap文件分别保存在各自硬盘的根目录,所述BlockNode模块启动时读取所述元数据文件,然后在内存中组织所述数据。
2.根据权利要求1所述的分布式存储系统,其特征在于包括所述BlockNode模块数据文件的创建:创建所述BlockNode模块的节点,所述BlockNode模块节点在初始化的同时在硬盘创建大于一个以1G为单位的文件;所述文件的文件名以数字为编号,从1开始直到n结束;
在每块硬盘上创建一个bitmap文件,文件名为volume.bm,所述bitmap文件数据的前8个字节记录所述BlockNode模块的空间大小,后面的n个位用来标志这些创建的文件是否被使用;所述bitmap文件保存在各个硬盘的根目录下。
3.根据权利要求1所述的分布式存储系统,其特征在于包括Queue数据存储到硬盘的格式:所述Queue的数据结构分两种类型:volumeID.jou存储描述所述Queue的结构体,volume.jdata存储块的数据;每n个Queue项目存一对这样类型的文件,以自然数序列作为后缀名。
4.根据权利要求3所述的分布式存储系统,其特征在于当内存不足时所述Queue写入硬盘,并在所述Queue的header里将在所述硬盘中的Queue的数目修改,写入所述硬盘的更新序列按序列号从小到大进行排列。
5.根据权利要求3所述的分布式存储系统,其特征在于当发送线程被唤醒后,根据Queue in disk字段是否为零,判断是否需要从硬盘中读取Queue项目项;在当前的发送的Queue的更新序列号大于硬盘上保存的文件的Queue项目序列号时,将volumeID.joun和volumeID.jdatan删除并释放磁盘空间。
6.根据权利要求1所述的分布式存储系统,其特征在于包括所述BlockNode模块节点和用户Client模块端的读命令和写命令交互;所述BlockNode模块节点和所述Master模块node之间的命令交互;所述BlockNode模块之间的操作。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海盛霄云计算技术有限公司,未经上海盛霄云计算技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201711426419.3/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种数据存储系统
- 下一篇:一种镜像文件管理系统