[发明专利]一种分布式数据存储方法及系统在审
申请号: | 201811640416.4 | 申请日: | 2018-12-29 |
公开(公告)号: | CN111381769A | 公开(公告)日: | 2020-07-07 |
发明(设计)人: | 徐佳宏;李银 | 申请(专利权)人: | 深圳市茁壮网络股份有限公司 |
主分类号: | G06F3/06 | 分类号: | G06F3/06;G06F16/182 |
代理公司: | 深圳市深佳知识产权代理事务所(普通合伙) 44285 | 代理人: | 王仲凯 |
地址: | 518004 广东省*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 分布式 数据 存储 方法 系统 | ||
1.一种分布式数据存储方法,其特征在于,应用于服务器集群,服务器集群中包括多个磁盘组,每个磁盘组中包括数据盘和编码盘,每个磁盘划分为多个大小相同的逻辑块,磁盘组中所有磁盘中具有相同逻辑块号的逻辑块组成磁盘组块,所述方法包括:
在写文件时,从空闲磁盘组块集合中随机选取3个磁盘组块;
依次将目标文件的数据写入3个磁盘组块中的数据盘逻辑块中,所述目标文件为本次需要写入的文件;
当所有的数据盘逻辑块都写满或所述目标文件关闭时,对数据盘逻辑块中存储的数据进行编码,并将编码数据写入其中一个磁盘组块的编码盘逻辑块中;
将未写入编码数据的2个磁盘组块放回空闲磁盘组块集合。
2.根据权利要求1所述的方法,其特征在于,所述依次将数据写入3个磁盘组块中的数据盘逻辑块中,包括:
对于每一个磁盘组块,当磁盘组块中的数据盘逻辑块中都未写过数据,则按数据盘逻辑块的编号的顺序将所述目标文件的数据写入数据盘逻辑块中;
当磁盘组块中的数据盘逻辑块写过数据,则从上次写数据的结尾位置开始,按数据盘逻辑块的编号的顺序将所述目标文件的数据写入数据盘逻辑块中。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在所述目标文件的数据的写入过程中,在写入失败的数据盘逻辑块中添加失败标记,并在写入成功的数据盘逻辑块中添加成功标记;
根据每个磁盘组块中本次写文件涉及的数据盘逻辑块中成功标记和失败标记的数量,得到每个磁盘组块的健康度。
4.根据权利要求3所述的方法,其特征在于,所述将编码数据写入其中一个磁盘组块的编码盘逻辑块中,包括:
将编码数据写入3个磁盘组块中健康度最高的磁盘组块的编码盘逻辑块中。
5.根据权利要求1所述的方法,其特征在于,所述将未写入编码数据的2个磁盘组块放回空闲磁盘组块集合,包括:
将未写入编码数据的2个磁盘组块放入待回归磁盘组块集合中,并在预设时间后将这两个磁盘组块放回空闲磁盘组块集合中。
6.根据权利要求1所述的方法,其特征在于,当所述目标文件关闭时,在所述对数据盘逻辑块中存储的数据进行编码之前,所述方法还包括:
当检测到当前存在3个磁盘组块正在使用时,在磁盘组块中没有写入数据的数据盘逻辑块全部写入0。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当用户启用文件追加方式打开所述目标文件时,获取所述目标文件对应的最后一个磁盘组块;
当所述目标文件对应的最后一个磁盘组块已经写满数据时,从空闲磁盘组块集合中随机选取3个磁盘组块,并将用户追加的文件数据写入选取的3个磁盘组块中;
当所述目标文件对应的最后一个磁盘组块没有写满数据时,从空闲磁盘组块集合中随机选取2个磁盘组块,将所述目标文件对应的最后一个磁盘组块中已写的数据复制到选取的2个磁盘组块中,并将用户追加的文件数据写入这3个磁盘组块中。
8.根据权利要求4所述的方法,其特征在于,所述方法还包括:
当用户对目标文件进行修改时,从已用磁盘组块集合中获取待修改内容对应的磁盘组块;
从空闲磁盘组块集合中随机选取2个磁盘组块,并将待修改内容对应的磁盘组块中的数据盘逻辑块中的数据复制到这2个磁盘组块中的数据盘逻辑块中,得到3个待修改磁盘组块;
依次对3个待修改磁盘组块中的数据盘逻辑块中的数据进行修改;
当修改完成时,对待修改磁盘组块中的数据盘逻辑块中的数据进行编码,并将编码数据写入3个待修改磁盘组块中健康度最高的磁盘组块的编码盘中。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳市茁壮网络股份有限公司,未经深圳市茁壮网络股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811640416.4/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置