[发明专利]一种高性能计算用户配额的智能调优方法有效
申请号: | 202110258572.X | 申请日: | 2021-03-09 |
公开(公告)号: | CN113032143B | 公开(公告)日: | 2022-10-18 |
发明(设计)人: | 侯正雄;王云岚;谷建华;赵天海;李秀春 | 申请(专利权)人: | 西北工业大学 |
主分类号: | G06F9/50 | 分类号: | G06F9/50 |
代理公司: | 西安凯多思知识产权代理事务所(普通合伙) 61290 | 代理人: | 刘新琼 |
地址: | 710072 *** | 国省代码: | 陕西;61 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 性能 计算 用户 配额 智能 方法 | ||
1.一种高性能计算用户配额的智能调优方法,其特征在于步骤如下:
步骤1:周期性获取当前资源利用率和所有用户的作业运行情况;具体包括当前正在运行的作业和数量、排队的作业和数量、被禁止的作业和数量,并获取计算节点总数、CPU核总数、已经被使用的计算节点数量、已经被使用的CPU核数量、空闲的节点数、空闲的CPU核数;
步骤2:如果当前有空闲资源以及被禁止的作业,则查询被禁止用户的配额,决定是否增加有被禁止作业的用户的配额;如果有多个用户的作业被禁止,则计算被禁止作业的动态优先级,作业动态优先级最高的用户,优先被调整配额;
定义1-用户角色:设集群用户的集合为U,用户角色的集合为R,则存在一个从U到R的映射f,使得用户u的角色为f(u)=r;
定义2-基于角色的配额:存在从R到N的映射C(r,s),C(r,h),Qr,Jr,C(r,s)称之为角色r的CPU核心软配额,C(r,h)称之为角色r的CPU核心硬配额,即上限,Qr称之为角色r的排队作业数配额,Jr称之为角色r的运行作业总数配额;
定义3-基于角色的用户静态优先级:存在一个从R到自然数集合N的映射g0,使得g0(r)=n,n∈N为用户以角色r获得的用户优先级;
定义4-基于等待时间的作业优先级正增量:设被禁止作业的集合为B,作业的优先级随着等待时间的增加而提高,遵循的函数为Δadd(j(t))=k·j(t)(k>0),其中j(t)为作业j的等待时间,k为正比因子;
定义5-基于用户使用量的优先级负增量:m(u)为用户u目前已占用的CPU核心数量,当角色为r的用户u的m(u)超过CPU核心软配额C(r,s)时,优先级g(j,u)将降低Δsub(d),d=m(u)-C(r,s),Δsub(d)=l·(m(u)-C(r,s))(l>0),l为正比因子;
定义6-作业动态优先级:被禁止作业的动态优先级由g(j,u)=g0(r)+Δadd(j(t))-Δsub(d)确定;
基于作业动态优先级对被禁止作业的集合B进行排序,作业动态优先级最高的用户优先被调整配额;
步骤3:如果当前没有空闲资源,并有排队作业,则查询排队用户的作业情况以及正在运行作业的用户配额情况,决定是否减少有运行和排队作业的用户的配额;
如果没有空闲CPU核,并有作业在排队,其中有排队的用户,没有一个运行的作业;则检查正在运行作业的用户配额,从中找出具有CPU核数最高配额的用户;如果就1个用户具有最高配额,则减少其配额;如果有多个具有最高配额的用户,则从中选取具有最少排队作业的用户,减少其配额;
步骤4:基于智能调优算法,修改被选定用户的最大作业数、最大排队作业数和最大处理器数,实现用户配额的智能化增加或减少。
2.根据权利要求1所述的一种高性能计算用户配额的智能调优方法,其特征在于步骤1中通过使用Maui的showq命令获取当前资源利用率和所有用户的作业运行情况。
3.根据权利要求1所述的一种高性能计算用户配额的智能调优方法,其特征在于步骤4中智能调优算法采用策略为默认的作业调度和用户选择策略、平均策略、大作业优先策略、小作业优先策略或能源效率优先策略。
4.一种计算机,其特征在于采用权利要求1所述的智能调优方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于西北工业大学,未经西北工业大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110258572.X/1.html,转载请声明来源钻瓜专利网。