[发明专利]一种表连接处理方法、装置和云计算系统有效
申请号: | 201510178854.3 | 申请日: | 2015-04-16 |
公开(公告)号: | CN106156159B | 公开(公告)日: | 2019-08-16 |
发明(设计)人: | 刘祥平 | 申请(专利权)人: | 阿里巴巴集团控股有限公司 |
主分类号: | G06F16/22 | 分类号: | G06F16/22 |
代理公司: | 北京新知远方知识产权代理事务所(普通合伙) 11397 | 代理人: | 郭玉梅 |
地址: | 英属开曼群岛大开*** | 国省代码: | 开曼群岛;KY |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本申请提供了一种表连接处理方法、装置和云计算系统,该方法包括:根据第一表中各关联键对应的数据量在总数据量中的占比以及表连接总分区数确定所述各关联键对应的分区数,该第一表存在数据倾斜;根据所述各关联键对应的分区数为所述各关联键分配相应数量的分区;将所述第一表中各关联键对应的数据划分到对应的分区,将第二表各关联键对应的数据复制到对应分区;将各分区对应的数据传输到所述各分区对应的归约节点,供归约节点进行所述第一表与所述第二表的表连接。采用本申请提供的方案,能够更好地解决表连接中数据倾斜带来的问题。 | ||
搜索关键词: | 一种 连接 处理 方法 装置 计算 系统 | ||
【主权项】:
1.一种表连接处理方法,其特征在于,包括:根据第一表中各关联键对应的数据量在总数据量中的占比以及表连接总分区数确定所述各关联键对应的分区数,所述第一表存在数据倾斜;根据所述各关联键对应的分区数为所述各关联键分配相应数量的分区;将所述第一表中各关联键对应的数据划分到对应的分区,将第二表各关联键对应的数据复制到对应分区;将各分区对应的数据传输到所述各分区对应的归约节点,供归约节点进行所述第一表与所述第二表的表连接。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里巴巴集团控股有限公司,未经阿里巴巴集团控股有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201510178854.3/,转载请声明来源钻瓜专利网。
- 上一篇:显示装置
- 下一篇:光学线性菲涅尔式透镜太阳能光热转换系统