[发明专利]动态混洗重新配置有效
申请号: | 201480065416.X | 申请日: | 2014-10-01 |
公开(公告)号: | CN105793822B | 公开(公告)日: | 2020-03-20 |
发明(设计)人: | 亚历山大·古尔科夫·巴利科夫;马里安·德沃尔斯基;赵永刚 | 申请(专利权)人: | 谷歌有限责任公司 |
主分类号: | G06F9/50 | 分类号: | G06F9/50 |
代理公司: | 中原信达知识产权代理有限责任公司 11219 | 代理人: | 周亚荣;安翔 |
地址: | 美国加利*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 一种方法,所述方法包括接收对数据流执行混洗操作的请求,所述请求包括初始键范围的集合:生成混洗器配置,所述混洗器配置将来自混洗器的集合的混洗器指派至所述初始键范围中的每一个;启动所述混洗器的集合以对所述数据流执行所述混洗操作;分析元数据统计以确定混洗器配置更新事件是否发生,所述元数据统计在所述混洗操作期间由所述混洗器的集合产生并且指示所述混洗器的集合中的每个混洗器的负荷统计;以及在所述混洗器配置更新事件发生之后并在所述混洗操作期间,至少部分基于所述元数据统计更改所述混洗器配置以产生混洗器至键范围的指派,混洗器至键范围的所述指派不同于混洗器至所述初始键范围的指派。 | ||
搜索关键词: | 动态 重新 配置 | ||
【主权项】:
一种通过数据处理装置执行的计算机实现的方法,所述方法包括:响应于接收到对数据流执行混洗操作的请求,所述混洗操作是通过键对所述数据流中设键的记录进行聚组的操作,所述请求包括初始键范围的集合,每个初始键范围对应于所述数据流的部分:生成混洗器配置,所述混洗器配置将来自混洗器的集合的混洗器指派至所述初始键范围中的每一个,每个混洗器被配置为从一个或多个写入器接收与所指派的键范围相关联的所述数据流的部分,并且将所述数据流的所述部分提供至一个或多个读取器;启动所述混洗器的集合以对所述数据流执行所述混洗操作;分析元数据统计以确定混洗器配置更新事件是否发生,所述元数据统计在所述混洗操作期间由所述混洗器的集合产生并且指示所述混洗器的集合中的每个混洗器的负荷统计;以及在所述混洗器配置更新事件发生之后并在所述混洗操作期间,至少部分基于所述元数据统计更改所述混洗器配置以产生混洗器至键范围的指派,混洗器至键范围的所述指派不同于混洗器至所述初始键范围的指派。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于谷歌有限责任公司,未经谷歌有限责任公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201480065416.X/,转载请声明来源钻瓜专利网。