[发明专利]一种基于MapReduce的自适应作业调度方法无效
| 申请号： | 200910311687.X | 申请日： | 2009-12-17 |
| 公开（公告）号： | CN102004670A | 公开（公告）日： | 2011-04-06 |
| 发明（设计）人： | 王非;卢正新;黄本雄;王芙蓉 | 申请（专利权）人： | 华中科技大学 |
| 主分类号： | G06F9/50 | 分类号： | G06F9/50;G06F15/16 |
| 代理公司： | 北京市德权律师事务所 11302 | 代理人： | 周发军 |
| 地址： | 430074 湖北*** | 国省代码： | 湖北;42 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明涉及分布式并行计算领域中MapReduce自适应作业调度方法，包括下列步骤：MapReduce计算各个计算节点单CPU内核的能力指数；计算MapReduce作业的数据块规模；调度节点对新进入的MapReduce作业的数据进行划分；调度节点动态将MapReduce作业的数据块组装成任务，分配给各计算节点；动态统计各计算节点的资源使用率，如果资源使用率低于门限，重新计算MapReduce作业的数据块规模。本发明提供一种基于计算节点实际计算能力，具有自适应任务划分和任务调度的方法。 | ||
| 搜索关键词： | 一种 基于 mapreduce 自适应 作业 调度 方法 | ||
【主权项】：
一种基于MapReduce的自适应作业调度方法，其特征在于，包括下列步骤：第一步，MapReduce计算节点根据自身的计算能力、存储能力与网络吞吐能力参数，生成各个计算节点单CPU内核的能力指数；第二步，参照MapReduce集群计算系统内所有计算节点的能力指数，计算MapReduce作业的数据块规模；第三步，调度节点根据计算出的数据块规模，对新进入的MapReduce作业的数据进行划分；第四步，结合各计算节点的能力指数，调度节点动态将MapReduce作业的数据块组装成任务，分配给各计算节点；第五步，动态统计各计算节点的资源使用率，如果资源使用率低于门限，重新计算MapReduce作业的数据块规模。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于华中科技大学，未经华中科技大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/200910311687.X/，转载请声明来源钻瓜专利网。
- 上一篇：一种光源摄像机护罩
- 下一篇：液晶光栅模组及平面/立体可切换型液晶显示装置
