[发明专利]一种数据处理的方法以及相关装置在审
| 申请号： | 201810245691.X | 申请日： | 2018-03-23 |
| 公开（公告）号： | CN110309177A | 公开（公告）日： | 2019-10-08 |
| 发明（设计）人： | 张韶全;朱锋 | 申请（专利权）人： | 腾讯科技（深圳）有限公司 |
| 主分类号： | G06F16/2455 | 分类号： | G06F16/2455;G06F16/2453 |
| 代理公司： | 深圳市深佳知识产权代理事务所(普通合伙) 44285 | 代理人： | 王仲凯 |
| 地址： | 518057 广东省深圳*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明实施例公开了一种数据处理的方法，包括：接收数据处理指令；根据所述数据处理指令获取第一分区数据以及第二分区数据；通过Mapper对所述第一分区数据进行排序处理，得到第一待合并数据，并对所述第二分区数据进行排序处理，得到第二待合并数据；通过Reducer对所述第一待合并数据以及所述第二待合并数据进行合并处理，得到目标连接数据。本发明实施例还公开了一种数据处理装置。本发明实施例将数据排序的过程放在Mapper中完成，而Reducer只需要完成数据合并的过程，从而降低了每个Reducer的数据处理时延，提升Join的执行效率。 | ||
| 搜索关键词： | 分区数据 数据处理 合并 数据处理指令 排序处理 数据处理装置 合并处理 目标连接 数据合并 数据排序 相关装置 时延 | ||
【主权项】：
1.一种数据处理的方法，其特征在于，包括：接收数据处理指令；根据所述数据处理指令获取第一分区数据以及第二分区数据；通过映射节点Mapper对所述第一分区数据进行排序处理，得到第一待合并数据，并对所述第二分区数据进行排序处理，得到第二待合并数据；通过归约节点Reducer对所述第一待合并数据以及所述第二待合并数据进行合并处理，得到目标连接数据。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于腾讯科技（深圳）有限公司，未经腾讯科技（深圳）有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201810245691.X/，转载请声明来源钻瓜专利网。
