[发明专利]资源分配方法及装置有效
申请号: | 201811584199.1 | 申请日: | 2018-12-24 |
公开(公告)号: | CN109684092B | 公开(公告)日: | 2023-03-10 |
发明(设计)人: | 户蕾蕾;谷宁波;崔振凯;刁利敏 | 申请(专利权)人: | 新华三大数据技术有限公司 |
主分类号: | G06F9/50 | 分类号: | G06F9/50 |
代理公司: | 北京超凡志成知识产权代理事务所(普通合伙) 11371 | 代理人: | 张海洋 |
地址: | 450000 河南省郑州市高新技*** | 国省代码: | 河南;41 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 资源 分配 方法 装置 | ||
1.一种资源分配方法,其特征在于,应用于YARN中的资源管理器,所述方法包括:
在获得目标用户的资源分配任务时,依次访问预设的至少一个队列分配规则;所述目标用户的身份信息为用户标识或者组标识,所述组标识表示所述目标用户所属的用户组;
若访问的队列分配规则为第一预设规则且包括所述目标用户的用户标识,则从所述访问的队列分配规则关联的队列分配策略中查找目标队列;所述第一预设规则表示按照用户标识来为资源分配任务匹配队列的规则;
若访问的队列分配规则为第二预设规则且包括所述目标用户的组标识,则从所述访问的队列分配规则关联的队列分配策略中查找目标队列;所述第二预设规则表示按照组标识来为资源分配任务匹配队列的规则;
将所述资源分配任务添加到所述目标队列中,以按照针对所述目标队列预设的资源分配策略执行所述资源分配任务;其中,所述目标队列预设的资源分配策略包括所述目标队列的资源权重、最大资源量及最小资源量;
所述队列分配策略包括:应用程序的服务类型和队列的映射关系;
所述从所述队列分配规则关联的队列分配策略中查找目标队列,包括:
根据所述资源分配任务关联的应用程序的服务类型确定匹配的所述映射关系,将匹配的所述映射关系中记录的队列作为所述目标队列。
2.根据权利要求1所述的资源分配方法,其特征在于,所述队列分配策略包括指定队列;
所述从所述队列分配规则关联的队列分配策略中查找目标队列,包括:
将所述指定队列作为所述目标队列。
3.根据权利要求1所述的资源分配方法,其特征在于,将匹配的所述映射关系中记录的队列作为所述目标队列,包括:
若匹配的所述映射关系中记录有多个队列,则基于预设的选取策略从该多个队列中选择一个作为所述目标队列;
若匹配的所述映射关系中记录有一个队列,则将该队列作为所述目标队列。
4.根据权利要求根据权利要求1-3中任意一项所述的资源分配方法,其特征在于,在将所述资源分配任务添加到所述目标队列中之前,所述方法还包括:
查找所述资源管理器中是否存在所述目标队列;
若所述资源管理器中不存在所述目标队列,则判断所述访问的队列分配规则是否允许新建队列;
若当前访问的队列分配规则允许新建队列,则新建一个队列作为所述目标队列;
若当前访问的队列分配规则不允许新建队列,则访问下一个队列分配规则。
5.一种资源分配装置,其特征在于,应用于YARN中的资源管理器,所述装置包括:
规则访问模块,用于在获得目标用户的资源分配任务时,依次访问预设的至少一个队列分配规则;所述目标用户的身份信息为用户标识或者组标识,所述组标识表示所述目标用户所属的用户组;
查找模块,用于若访问的队列分配规则为第一预设规则且包括所述目标用户的用户标识,则从所述访问的队列分配规则关联的队列分配策略中查找目标队列;所述第一预设规则表示按照用户标识来为资源分配任务匹配队列的规则;
若访问的队列分配规则为第二预设规则且包括所述目标用户的组标识,则从所述访问的队列分配规则关联的队列分配策略中查找目标队列;所述第二预设规则表示按照组标识来为资源分配任务匹配队列的规则;
分配模块,用于将所述资源分配任务添加到所述目标队列中,以按照针对所述目标队列预设的资源分配策略执行所述资源分配任务;其中,所述目标队列预设的资源分配策略包括所述目标队列的资源权重、最大资源量及最小资源量;
所述队列分配策略包括:应用程序的服务类型和队列的映射关系;所述查找模块,具体用于:根据所述资源分配任务关联的应用程序的服务类型确定匹配的所述映射关系,将匹配的所述映射关系中记录的队列作为所述目标队列。
6.根据权利要求5所述的资源分配装置,其特征在于,所述队列分配策略包括指定队列;所述查找模块,具体用于:
将所述指定队列作为所述目标队列。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于新华三大数据技术有限公司,未经新华三大数据技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811584199.1/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种任务处理方法及装置
- 下一篇:数据处理方法及系统