[发明专利]分布式系统中的拆分和移动范围有效
申请号: | 201680084930.7 | 申请日: | 2016-12-14 |
公开(公告)号: | CN109074362B | 公开(公告)日: | 2020-06-05 |
发明(设计)人: | 塞巴斯蒂安·卡塔克;克利福德·亚瑟·弗雷 | 申请(专利权)人: | 谷歌有限责任公司 |
主分类号: | G06F16/182 | 分类号: | G06F16/182 |
代理公司: | 上海华诚知识产权代理有限公司 31300 | 代理人: | 肖华 |
地址: | 美国加利*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 分布式 系统 中的 拆分 移动 范围 | ||
描述了用于分布式数据库系统中的分布式事务的方法和系统。一个示例包括识别在包括一个或多个块复制件的源组中插入拆分点的请求,每个块包括来自分布式数据库系统中的表的数据的至少一部分数据,并且拆分点将源组中的数据拆分为第一范围和不同于第一范围的第二范围;响应于该请求:将源组的第一范围中的文件名列表发送给包含一个或多个块复制件的第一目标组;在第一目标组处,创建由第一范围中的文件名列表示的文件的虚拟副本,虚拟副本使得每个使用新名称的文件的数据可用,而不用重复复制文件的数据。
背景技术
本说明书大体涉及在分布式数据库系统中拆分大组。
当在分布式数据库中重新分区数据时,经常复制大块数据以进行移动。当前实施重新分区所需的时间和资源经常会引起问题,特别是在尝试拆分具有大量写入负载的大组时,并且,由此导致,比大小阈值大许多倍的拆分并不罕见。因此,出现了在分布式数据库中快速并有效地拆分大组的机制的需求。
发明内容
大体上,本说明书中描述的主题的一个方面可以体现系统和方法中,方法由包括用于分布式数据库系统中的分布式事务的动作的数据处理装置执行,其包括识别在源组中插入拆分点的请求,源组包括一个或多个块复制件(replica),每个块包括来自分布式数据库系统中的表的数据的至少一部分数据,并且拆分点将源组中的数据拆分为第一范围和不同于第一范围的第二范围;以及响应于在源组中插入拆分点的请求,将源组的第一范围中的文件名列表发送给第一目标组,第一目标组包含一个或多个块复制件;以及在第一目标组处,创建由第一范围中的文件名列表示的文件的虚拟副本,虚拟副本使得每个文件的内容在新名称下可用而不用重复复制文件的数据。
系统和方法还可以包括:将第一范围中的文件添加到第一目标组;指令源组第一目标组不再依赖于源组处的第一范围中的文件;以及从源组删除第一范围中的文件。此外,响应于在源组中插入拆分点的请求,可以将源组的第二范围中的文件名列表发送到第二目标组,第二目标组包括一个或多个块复制件,以及可以在第二目标组创建由第二范围中的文件名列表示的文件的虚拟副本,虚拟副本使得每个文件的内容在新名称下可用而不用重复复制文件的数据。
此外,该系统和方法可以包括从源组发送第一范围中的内存中缓存的更新的内容;以及在第一目标组处,将来自源组的第一范围中的内存中缓存的更新的内容添加到第一目标组的内存中缓存的更新。
根据某些实施例,分布式事务根据两阶段提交协议来运行,其中两阶段提交协议包括投票阶段和提交阶段。为了完成分布式事务,每个组中的大多数块必须在投票阶段中提交。响应于在投票阶段中的中止投票,每个组取消事务。
在附图和以下描述中阐述了本说明书中描述的主题的一个或多个实施方式的细节。根据说明书、附图和权利要求,本主题的其他特征、方面和潜在优点将变得显而易见。
附图说明
图1是用于在分布式存储系统中拆分大组的示例环境的示意图。
图2是用于在分布式存储系统中拆分大组的过程中的示例分布式数据库组的示意图。
图3是用于协调分布式存储系统中的分布式事务的示例过程的泳道图。
图4是用于在分布式存储系统中拆分大组的示例处理的流程图。
图5是可用于实施本文档中描述的系统和方法的计算设备的示意图。
各附图中同样的附图标记和符号表示同样的元件。
具体实施方式
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于谷歌有限责任公司,未经谷歌有限责任公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201680084930.7/2.html,转载请声明来源钻瓜专利网。