[发明专利]用于执行分布式计算任务的方法和装置有效
申请号: | 201610803934.8 | 申请日: | 2016-09-06 |
公开(公告)号: | CN106445645B | 公开(公告)日: | 2019-11-26 |
发明(设计)人: | 张云聪;温翔;王聪;柴华;徐瑶 | 申请(专利权)人: | 北京百度网讯科技有限公司 |
主分类号: | G06F9/46 | 分类号: | G06F9/46 |
代理公司: | 11204 北京英赛嘉华知识产权代理有限责任公司 | 代理人: | 王达佐;马晓亚<国际申请>=<国际公布> |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本申请公开了用于执行分布式计算任务的方法和装置。所述方法的一具体实施方式包括:解析分布式计算任务的表达式,得到算子关键字;利用所述算子关键字对应的算子,基于所述算子的输入参数执行所述分布式计算任务,其中,所述算子的输入参数包括以下至少一项:分布式存储的由至少一个数据元素组成的分布式数据集、分布式存储的由至少一对键值对组成的分布式键值对集合,所述分布式键值对集合中键值对的值为分布式数据集或分布式键值对集合。该实施方式实现了对嵌套数据集的操作,从而支持对诸如分布式数据集以及分布式数据集分组后的分组数据进行操作的分布式计算任务,实现了代码可重用。 | ||
搜索关键词: | 用于 执行 分布式 计算 任务 方法 装置 | ||
【主权项】:
1.一种用于执行分布式计算任务的方法,其特征在于,所述方法包括:/n解析分布式计算任务的表达式,得到算子关键字,所述算子关键字包括以下至少一项:分组算子关键字、操作算子关键字、遍历算子关键字、值获取算子关键字、键值对获取算子关键字、文件读取算子关键字、内存读取算子关键字、文件写入算子关键字、内存写入算子关键字;/n利用所述算子关键字对应的算子,基于所述算子的输入参数和输出参数执行所述分布式计算任务,其中,所述算子的输入参数包括以下至少一项:分布式存储的由至少一个数据元素组成的分布式数据集、分布式存储的由至少一对键值对组成的分布式键值对集合,所述分布式键值对集合中键值对的值为分布式数据集或分布式键值对集合。/n
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京百度网讯科技有限公司,未经北京百度网讯科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201610803934.8/,转载请声明来源钻瓜专利网。