[发明专利]在集群中调度运行分布式计算框架的方法和系统在审
申请号: | 201210370666.7 | 申请日: | 2012-09-28 |
公开(公告)号: | CN103713942A | 公开(公告)日: | 2014-04-09 |
发明(设计)人: | 董元元;罗韩梅;林恬;彭亮;陈卓;金涬 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06F9/46 | 分类号: | G06F9/46;G06F9/50 |
代理公司: | 广州华进联合专利商标代理有限公司 44224 | 代理人: | 何平;曾旻辉 |
地址: | 518044 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 集群 调度 运行 分布式 计算 框架 方法 系统 | ||
1.一种在集群中调度运行分布式计算框架的方法,包括以下步骤:
集群调度器获取提交的封装了框架控制器的第一作业;
所述集群调度器根据所述第一作业生成包含所述框架控制器的第一任务,将所述第一任务下发到集群执行器;
接收到所述第一任务的集群执行器启动所述框架控制器运行;
所述集群调度器获取提交的封装了与所述框架控制器对应的框架工作器的第二作业;
所述集群调度器根据所述第二作业生成包含所述框架控制器标识以及所述框架工作器的第二任务,并将所述第二任务下发到集群执行器;
接收到所述第二任务的集群执行器根据所述框架控制器标识启动所述框架工作器运行。
2.根据权利要求1所述的在集群中调度运行分布式计算框架的方法,其特征在于,所述第一作业中包含运行所述框架控制器所需第一资源信息,所述第二作业中包含运行所述框架工作器所需第二资源信息;
所述集群调度器将所述第一任务下发到与所述第一资源信息匹配的集群执行器;
所述集群调度器将所述第二任务下发到与所述第二资源信息匹配的集群执行器。
3.根据权利要求2所述的在集群中调度运行分布式计算框架的方法,其特征在于,所述第二作业中还包含需增加的所述框架控制器的数量;
所述集群调度器生成的第二任务的数量等于所述需增加的所述框架控制器数量。
4.根据权利要求3所述的在集群中调度运行分布式计算框架的方法,其特征在于,在所述集群调度器获取提交的封装了与所述框架控制器对应的框架工作器的第二作业的步骤之前,所述方法还包括步骤:
资源管理器获取所述框架控制器等待处理的任务数量;
所述资源管理器根据所述等待处理的任务数量、等待处理的任务所需的运行资源以及运行与所述框架控制器对应的框架工作器所需资源计算需增加的所述框架控制器的数量;
资源管理器向所述集群调度器提交封装了所述框架工作器以及计算得到的需增加的所述框架控制器的数量的第二作业。
5.根据权利要求3所述的在集群中调度运行分布式计算框架的方法,其特征在于,所述方法还包括步骤:
所述资源管理器获取框架工作器的工作状态;
若框架工作器处于空闲状态超过预设时长,则所述资源管理器向框架工作器发送退出指令,以获取框架工作器退出后释放的资源。
6.根据权利要求5所述的在集群中调度运行分布式计算框架的方法,其特征在于,所述方法还包括步骤:
所述集群调度器向所述资源管理器发送资源抢占命令;
所述资源管理器查找占用资源与所述资源抢占命令要求抢占的资源匹配的框架工作器;
所述资源管理器获取查找到的框架工作器执行的任务的完成状态信息;
根据所述框架工作器上任务的完成状态信息向所述框架工作器发送退出指令。
7.一种在集群中调度运行分布式计算框架的系统,其特征在于,包括集群调度器和多个集群执行器,其中:
所述集群调度器用于获取提交的封装了框架控制器的第一作业;
所述集群调度器还用于根据所述第一作业生成包含所述框架控制器的第一任务,将所述第一任务下发到某一所述集群执行器;
所述集群执行器用于接收到所述第一任务后,启动所述框架控制器运行;
所述集群调度器还用于获取提交的封装了与所述框架控制器对应的框架工作器的第二作业;
所述集群调度器还用于根据所述第二作业生成包含所述框架控制器标识以及所述框架工作器的第二任务,并将所述第二任务下发到某一所述集群执行器;
所述集群执行器还用于接收到所述第二任务后,根据所述框架控制器标识启动所述框架工作器运行。
8.根据权利要求7所述的在集群中调度运行分布式计算框架的系统,其特征在于,所述第一作业中包含运行所述框架控制器所需第一资源信息,所述第二作业中包含运行所述框架工作器所需第二资源信息;
所述集群调度器用于将所述第一任务下发到与所述第一资源信息匹配的集群执行器;
所述集群调度器用于将所述第二任务下发到与所述第二资源信息匹配的集群执行器。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201210370666.7/1.html,转载请声明来源钻瓜专利网。