[发明专利]分布式存储系统中分发数据的方法和系统有效

专利信息
申请号: 201910999049.5 申请日: 2015-01-23
公开(公告)号: CN110737541B 公开(公告)日: 2023-08-29
发明(设计)人: R.希弗;S.奎因兰;S.R.希里帕;L.卡米;C.E.施罗克 申请(专利权)人: 谷歌有限责任公司
主分类号: G06F11/10 分类号: G06F11/10
代理公司: 北京市柳沈律师事务所 11105 代理人: 金玉洁
地址: 美国加利*** 国省代码: 暂无信息
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 分布式 存储系统 分发 数据 方法 系统
【权利要求书】:

1.一种在分布式存储系统中分发数据的方法,该方法包括:

在数据处理硬件上接收文件;

数据处理硬件将接收到的文件划分为块,所述块为数据块和非数据块;

通过数据处理硬件将块分组为一组;

由数据处理硬件基于分布式存储系统的维护层次结构确定组的块在分布式存储系统的存储设备之间的分布,该维护层次结构包括分层维护级别和维护域,每个维护域具有活跃状态或不活跃状态,每个维护域包括分布在多个维护级别的多个相关部件,多个相关部件包括与第一维护级别相关联的第一部件和与一个或多个不同维护级别相关联的多个其他部件,每个部件与至少一个维护域相关联;和

数据处理硬件根据确定的分布将组的块分发到存储设备,组的块分发在多个维护域中,以维护维护域处于不活跃状态时重构组的块的能力。

2.根据权利要求1所述的方法,其中,所述组包括一个或多个数据块和一个或多个非数据块,并且其中,所述组的一个或多个数据块或一个或多个非数据块能够从该组的其他块中重构。

3.根据权利要求1所述的方法,其中,每个维护域跨越一个或多个相邻的分层维护级别。

4.根据权利要求1所述的方法,其中,所述分层维护级别包括:

存储设备级别;

机架级别,存储设备级别取决于机架级别;

母线槽级别,机架级别取决于母线槽级别;和

配电中心级别,母线槽级别取决于配电中心级别,

其中每个维护域至少跨越存储设备级别。

5.根据权利要求1所述的方法,还包括由所述数据处理硬件限制分发给任何一个维护域的存储设备的组的块的数量。

6.根据权利要求1所述的方法,其中,所述分发包括:当一个或多个维护域处于不活跃状态时,随机选择与能够维持所述组的可访问性的所述组的块的数量匹配的存储设备。

7.根据权利要求6所述的方法,其中,当一个或多个维护域处于不活跃状态时,当所述存储设备的随机选择不能维持所述组的可访问性时,由所述数据处理硬件通过添加和/或删除一个或多个随机选择的存储设备来修改所述存储设备的随机选择。

8.根据权利要求6所述的方法,还包括由所述数据处理硬件使用简单采样,概率采样,分层采样或聚类采样来确定所述存储设备的第一随机选择。

9.根据权利要求1所述的方法,其中确定所述组的块在所述存储设备之间的分发包括:从所述分布式存储系统的存储设备的有序循环列表中选择等于所述组的块的数量的连续的多个存储设备。

10.根据权利要求9所述的方法,还包括:当一个或多个维护域处于不活跃状态时,当所选择的存储设备共同不能维持所述组的可访问性时,由所述数据处理硬件从等于该组的块的数量的有序循环列表中选择另一连续的多个存储设备。

11.根据权利要求9所述的方法,还包括由所述数据处理硬件确定所述分布式存储系统的存储设备的有序循环列表,与不同维护域相关联的所述有序循环列表上的相邻存储设备。

12.根据权利要求11所述的方法,其中,所述有序循环列表上的连续存储设备的阈值数量分别是以下至少之一:

与不同的维护域关联;或

在不同的地理位置。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于谷歌有限责任公司,未经谷歌有限责任公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201910999049.5/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top