[发明专利]一种数据处理方法及装置在审
| 申请号： | 201410745122.3 | 申请日： | 2014-12-08 |
| 公开（公告）号： | CN105740063A | 公开（公告）日： | 2016-07-06 |
| 发明（设计）人： | 闵桂龙;晏臣 | 申请（专利权）人： | 杭州华为数字技术有限公司 |
| 主分类号： | G06F9/48 | 分类号： | G06F9/48;G06F9/50;G06F17/30 |
| 代理公司： | 北京同达信恒知识产权代理有限公司 11291 | 代理人： | 冯艳莲 |
| 地址： | 310052 浙江省杭州*** | 国省代码： | 浙江;33 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开一种数据处理方法及装置，当大型机下移到开放平台，接收到批处理任务，该方法包括：接收到批处理任务的主节点从连接的节点中确定处理所述批处理任务的多个成员节点；根据所述多个成员节点的信息对所述批处理任务对应的表数据切分，得到多个分块数据；将分块数据对应发送到多个成员节点；获取所述多个成员节点发送来的多个结果数据；将所述多个结果数据合并得到所述批处理任务的处理结果。本发明公开的方案解决现有技术中开放平台处理批处理数据时，吞吐量的瓶颈将导致任务时间加长，从而导致批处理任务无法在指定时间窗口内完成，造成批处理迁移无法大规模实施的问题。 | ||
| 搜索关键词： | 一种 数据处理 方法 装置 | ||
【主权项】：
一种数据处理方法，其特征在于，当大型机下移到开放平台，接收到批处理任务，该方法包括：接收到批处理任务的主节点从连接的节点中确定处理所述批处理任务的多个成员节点；根据所述多个成员节点的信息对所述批处理任务对应的表数据切分，得到多个分块数据；将分块数据对应发送到所述多个成员节点；获取所述多个成员节点发送来的多个结果数据；其中，所述结果数据是每个成员节点处理所述分块数据得到的数据；将所述多个结果数据合并得到所述批处理任务的处理结果。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于杭州华为数字技术有限公司，未经杭州华为数字技术有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201410745122.3/，转载请声明来源钻瓜专利网。
