[发明专利]云资源调度方法、节点、系统及存储介质

说明书

本申请实施例提供一种云资源调度方法、节点、系统及存储介质。在本申请实施例中，针对线上任务与线下任务对云计算资源需求的差异，提供了一种动态调整二者占用的云计算资源量的资源管理方式，可以根据线上任务对云计算资源的弹性需求，增加线上任务在资源需求高峰期占用的云计算资源量，减少线下任务占用的云计算资源量；也可以减少线上任务在资源需求低谷期占用的云计算资源量，增加线下任务占用的云计算资源量，使得云计算资源得到合理利用，减少资源浪费。

技术领域

本申请涉及云计算技术领域，尤其涉及一种云资源调度方法、节点、系统及存储介质。

背景技术

在人工智能和深度学习领域中，包含两个主要部分，即训练(training)和推理(inference)。“训练”是以训练样本为基础不断训练和调试，得到符合应用需求的模型的过程。“推理”是模型在线上应用，为用户提供相应服务的过程。

由于模型训练和线上推理通常需要强大的计算资源，模型训练和线上推理的需求方(如企业)，一般是将模型训练任务和线上推理任务部署到云服务厂商提供的高性能的云计算资源上实现，降低资源成本。

在一些场景，如直播场景中，随着直播流量的波动，线上推理任务(如负责特效处理的模型)具有较强的时效性，对云计算资源具有很高的弹性需求。为满足流量高峰期内的资源需求量，一般是预先购买足量的云计算资源。但是，在非高峰期内，资源会有闲置，存在资源浪费。

发明内容

本申请的多个方面提供一种云资源调度方法、节点、系统及存储介质，用以动态调整线下任务与线上任务占用的云资源量，提高资源利用率，减少资源浪费。

本申请实施例提供一种云资源调度系统，包括：资源调度节点以及已经分配给第一客户的多张GPU卡，所述多张GPU卡可被所述第一客户的线上任务和线下任务共享；所述资源调度节点，用于接收第一客户提交的资源调整请求；根据所述资源调整请求，动态调整所述多张GPU卡中被线上任务和线下任务分别占用的GPU卡数。

本申请实施例还提供了一种云资源调度系统，包括：资源调度节点以及已经分配给第一客户的云计算资源，所述第一客户的云计算资源可被所述第一客户的线上任务和线下任务共享；所述资源调度节点，用于接收第一客户提交的资源调整请求；根据所述资源调整请求，动态调整所述第一客户的云计算资源中被线上任务和线下任务分别占用的资源量。

本申请实施例还提供了一种云资源调度方法，适用于资源调度节点，所述方法包括：接收第一客户提交的资源调整请求，所述第一客户的线上任务和线下任务共享已经分配到的多张GPU卡；根据所述资源调整请求，动态调整所述多张GPU卡中被线上任务和线下任务分别占用的GPU卡数。

本申请实施例还提供了一种云资源调度方法，适用于资源管控节点，用于对第一客户已经分配到的多张GPU卡进行调度，所述第一客户的线上任务和线下任务共享所述多张GPU卡；所述方法包括：接收资源调度节点发送的资源释放通知，所述资源释放通知包含所述线下任务可以释放的GPU卡数K1；根据所述资源释放通知，从所述线下任务当前所占用的N张GPU卡中选择K1张GPU卡；控制所述K1张GPU卡结束线下任务，以释放所述K1张GPU卡；其中，K1、N是自然数，且1≤K1≤N。

本申请实施例还提供了一种云资源调度方法，适用于资源调度节点，所述方法包括：接收第一客户提交的资源调整请求，所述第一客户的线上任务和线下任务共享第一客户已经分配到的云计算资源；根据所述资源调整请求，动态调整所述云计算资源中被线上任务和线下任务分别占用的资源量。