[发明专利]一种HadoopYarn网络带宽资源调度、隔离方法和装置在审
申请号: | 201610404404.6 | 申请日: | 2016-06-08 |
公开(公告)号: | CN107483364A | 公开(公告)日: | 2017-12-15 |
发明(设计)人: | 徐晓燕;樊鑫鑫;臧天宁;李高超;周渊 | 申请(专利权)人: | 国家计算机网络与信息安全管理中心 |
主分类号: | H04L12/917 | 分类号: | H04L12/917 |
代理公司: | 工业和信息化部电子专利中心11010 | 代理人: | 田卫平 |
地址: | 100029*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开了一种Hadoop Yarn网络带宽资源调度、隔离方法和装置。该调度方法在RM侧执行,包括接收AM发送的作业资源请求;所述工作资源请求包括在作业中,每个任务的网络带宽资源需求量;根据每个所述任务的网络带宽需求量,采用预设的公平调度算法,为每个所述任务对应分配容器;其中,在每个所述容器中封装有对应任务的网络带宽资源分配量。该隔离方法在NM侧执行,包括从AM获取多个容器;其中,每个所述容器中封装有对应的任务的网络带宽资源分配量;根据各个任务的网络带宽资源分配量,隔离各个任务占用的网络带宽资源。本发明在Yarn集群中增加了对网络带宽资源的调度,而且可以避免各个任务之间由于网络带宽资源的竞争而相互干扰。 | ||
搜索关键词: | 一种 hadoopyarn 网络带宽 资源 调度 隔离 方法 装置 | ||
【主权项】:
一种Hadoop Yarn网络带宽资源调度方法,其特征在于,包括:RM接收AM发送的作业资源请求;其中,所述工作资源请求包括:在作业中,每个任务的网络带宽资源需求量、CPU资源需求量和内存资源需求量;所述RM根据每个所述任务的网络带宽需求量、CPU资源需求量和内存资源需求量,采用预设的公平调度算法,为每个所述任务对应分配容器,并将每个所述任务对应的容器传递给所述AM;其中,在每个所述容器中封装有对应任务的网络带宽分配量、CPU资源分配量和内存资源分配量;所述AM针对每个所述任务,向所述AM所在节点中的NM发送运行请求,使所述NM基于每个所述任务对应的容器运行任务。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于国家计算机网络与信息安全管理中心,未经国家计算机网络与信息安全管理中心许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201610404404.6/,转载请声明来源钻瓜专利网。