[发明专利]一种资源配置方法、装置、设备和介质在审
申请号: | 202210512431.0 | 申请日: | 2022-05-12 |
公开(公告)号: | CN114911617A | 公开(公告)日: | 2022-08-16 |
发明(设计)人: | 张师瑜 | 申请(专利权)人: | 网易(杭州)网络有限公司 |
主分类号: | G06F9/50 | 分类号: | G06F9/50;G06N20/00 |
代理公司: | 北京元合联合知识产权代理事务所(特殊普通合伙) 11653 | 代理人: | 李非非 |
地址: | 310056 浙江省*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 资源配置 方法 装置 设备 介质 | ||
本申请公开了一种资源配置方法、装置、设备及介质。该方法包括:获取集群中目标资源的历史空闲指标和申请目标资源的配置资源的历史查询指标;根据历史空闲指标预测目标资源的空闲预测值;以及根据历史查询指标预测配置资源的查询预测值;根据空闲预测值和查询预测值对配置资源的副本数进行增加或减少。本申请实施例通过采集目标资源GPU和配置资源Pod的每秒查询率的预测值,来提高对集群GPU资源的利用率。
技术领域
本发明涉及计算机技术领域,特别是指一种资源配置方法、装置、设备和介质。
背景技术
随着容器技术(Docker)以及容器编排技术(K8S)成熟,越来越多的公司将自己的机器学习训练流程放到容器当中进行。容器技术解决了开发环境和运维环境不一致的问题,能够实现了进程的隔离,允许开发人员将应用打包到容器中,容器将应用程序代码、操作系统库以及所需的依赖环境结合在一起,可以发布到任何流行的系统中运行。而容器编排技术可以用于容器集群的管理,启动监控回收运行在一组服务器上的容器,并同时保证容器健康运行。
利用容器编排技术(K8S)将GPU(英文全称Graphics Processing Unit)资源聚合成资源池来实现统一管理,并借用docker交付深度学习的运行时环境,这种情况已成为K8S集群业务发展的一个重要分支。
但是,目前K8S仅提供基于CPU利用率实现Pod水平方向自动伸缩(英文全称Horizontal Pod Autoscaler,英文缩写HPA)的方案,且支持通过自定义指标(CustomMetrics)来实现HPA。现有的HPA是依赖CPU/Memory利用率控制弹性伸缩,无法满足集群业务在多指标扩缩、弹性伸缩稳定性方面的需求。
发明内容
鉴于现有技术中的上述缺陷或不足,期望提供一种资源配置方法、装置、设备和介质,来解决在集群业务需要GPU资源场景下,采用现有的HPA无法有效地提高集群GPU使用效率的问题。
第一方面,本发明实施例提供了一种资源配置方法,该方法包括:
获取集群中目标资源的历史空闲指标和申请目标资源的配置资源的历史查询指标;
根据历史空闲指标预测目标资源的空闲预测值;以及根据历史查询指标预测所述配置资源的查询预测值;
根据空闲预测值和查询预测值对配置资源的副本数进行增加或减少。
第二方面,本发明实施例还提供了一种资源配置装置,该装置至少包括指标采集模块、指标计算模块和配置模块,其中,
指标采集模块,用于获取集群中目标资源的历史空闲指标和使用目标资源的配置资源的历史查询指标;
指标计算模块,用于根据历史空闲指标预测目标资源的空闲预测值;以及根据历史查询指标预测配置资源的查询预测值;
配置模块,用于根据空闲预测值和查询预测值对配置资源的副本数进行增加或减少。
第三方面,本发明实施例还提供了一种电子设备,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,处理器执行该程序时实现本发明实施例描述的方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现本发明实施例描述的方法。
本发明提供的技术方案带来的有益效果是:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于网易(杭州)网络有限公司,未经网易(杭州)网络有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210512431.0/2.html,转载请声明来源钻瓜专利网。