[发明专利]分布式存储系统中分发数据的方法和系统有效
申请号: | 201910999049.5 | 申请日: | 2015-01-23 |
公开(公告)号: | CN110737541B | 公开(公告)日: | 2023-08-29 |
发明(设计)人: | R.希弗;S.奎因兰;S.R.希里帕;L.卡米;C.E.施罗克 | 申请(专利权)人: | 谷歌有限责任公司 |
主分类号: | G06F11/10 | 分类号: | G06F11/10 |
代理公司: | 北京市柳沈律师事务所 11105 | 代理人: | 金玉洁 |
地址: | 美国加利*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 分布式 存储系统 分发 数据 方法 系统 | ||
1.一种在分布式存储系统中分发数据的方法,该方法包括:
在数据处理硬件上接收文件;
数据处理硬件将接收到的文件划分为块,所述块为数据块和非数据块;
通过数据处理硬件将块分组为一组;
由数据处理硬件基于分布式存储系统的维护层次结构确定组的块在分布式存储系统的存储设备之间的分布,该维护层次结构包括分层维护级别和维护域,每个维护域具有活跃状态或不活跃状态,每个维护域包括分布在多个维护级别的多个相关部件,多个相关部件包括与第一维护级别相关联的第一部件和与一个或多个不同维护级别相关联的多个其他部件,每个部件与至少一个维护域相关联;和
数据处理硬件根据确定的分布将组的块分发到存储设备,组的块分发在多个维护域中,以维护维护域处于不活跃状态时重构组的块的能力。
2.根据权利要求1所述的方法,其中,所述组包括一个或多个数据块和一个或多个非数据块,并且其中,所述组的一个或多个数据块或一个或多个非数据块能够从该组的其他块中重构。
3.根据权利要求1所述的方法,其中,每个维护域跨越一个或多个相邻的分层维护级别。
4.根据权利要求1所述的方法,其中,所述分层维护级别包括:
存储设备级别;
机架级别,存储设备级别取决于机架级别;
母线槽级别,机架级别取决于母线槽级别;和
配电中心级别,母线槽级别取决于配电中心级别,
其中每个维护域至少跨越存储设备级别。
5.根据权利要求1所述的方法,还包括由所述数据处理硬件限制分发给任何一个维护域的存储设备的组的块的数量。
6.根据权利要求1所述的方法,其中,所述分发包括:当一个或多个维护域处于不活跃状态时,随机选择与能够维持所述组的可访问性的所述组的块的数量匹配的存储设备。
7.根据权利要求6所述的方法,其中,当一个或多个维护域处于不活跃状态时,当所述存储设备的随机选择不能维持所述组的可访问性时,由所述数据处理硬件通过添加和/或删除一个或多个随机选择的存储设备来修改所述存储设备的随机选择。
8.根据权利要求6所述的方法,还包括由所述数据处理硬件使用简单采样,概率采样,分层采样或聚类采样来确定所述存储设备的第一随机选择。
9.根据权利要求1所述的方法,其中确定所述组的块在所述存储设备之间的分发包括:从所述分布式存储系统的存储设备的有序循环列表中选择等于所述组的块的数量的连续的多个存储设备。
10.根据权利要求9所述的方法,还包括:当一个或多个维护域处于不活跃状态时,当所选择的存储设备共同不能维持所述组的可访问性时,由所述数据处理硬件从等于该组的块的数量的有序循环列表中选择另一连续的多个存储设备。
11.根据权利要求9所述的方法,还包括由所述数据处理硬件确定所述分布式存储系统的存储设备的有序循环列表,与不同维护域相关联的所述有序循环列表上的相邻存储设备。
12.根据权利要求11所述的方法,其中,所述有序循环列表上的连续存储设备的阈值数量分别是以下至少之一:
与不同的维护域关联;或
在不同的地理位置。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于谷歌有限责任公司,未经谷歌有限责任公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910999049.5/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置