[发明专利]一种基于GPU卡显存的混合调度方法、装置、设备和介质

权利要求书

1.一种基于GPU卡显存的混合调度方法，其特征在于，所述方法包括：

按照预设周期向调度系统传递各个节点的所述GPU卡的显存使用信息；

响应于创建训练任务，根据所述训练任务所需的GPU卡的个数和显存大小定义所述训练任务申请共享GPU卡或独享GPU卡的资源表现形式；

获取每个所述节点的所述GPU卡的所述显存使用信息，根据所述显存使用信息和所述资源表现形式选择所有所述节点中符合所需条件的节点作为预选节点；

对所述训练任务中不同的调度策略分别定义打分算法，根据所述打分算法计算每个所述预选节点的分数，并根据所述分数在所述预选节点中选择执行所述训练任务的节点。

2.根据权利要求1所述的基于GPU卡显存的混合调度方法，其特征在于，所述显存使用信息包括显存利用率和计算利用率，所述获取每个所述节点的所述GPU卡的所述显存使用信息，根据所述显存使用信息和所述资源表现形式选择所有所述节点中符合所需条件的节点作为预选节点还包括：

若是判断所述节点满足所述资源表现形式中的所需GPU卡的个数和显存大小，且所述GPU卡的所述显存利用率小于或等于所述GPU卡的显存总量减去所述训练任务所需显存大小后再除以所述GPU卡的所述显存总量的值，且所述GPU卡的所述计算利用率小于预设阈值，判断所述节点符合所需条件。

3.根据权利要求2所述的基于GPU卡显存的混合调度方法，其特征在于，所述判断所述节点满足所述资源表现形式中的所需的GPU卡的个数和显存大小还包括：

判断所述节点的所述GPU卡的空闲卡数大于或等于所述训练任务所需GPU卡的个数，且判断所述节点的GPU卡显存空闲值大于或等于所述训练任务所需的显存大小。

4.根据权利要求1所述的基于GPU卡显存的混合调度方法，其特征在于，所述对所述训练任务中不同的调度策略分别定义打分算法还包括：

在所述调度策略为spread调度策略的情况下，定义所述打分算法为对所述GPU卡的显存空闲值更多的所述节点配置更高的所述分数。

5.根据权利要求1所述的基于GPU卡显存的混合调度方法，其特征在于，所述对所述训练任务中不同的调度策略分别定义打分算法还包括：

在所述调度策略为bestfit调度策略的情况下，定义所述打分算法为对所述GPU卡的显存空闲值更少的所述节点配置更高的所述分数。

6.一种基于GPU卡显存的混合调度装置，其特征在于，所述装置包括：

信息传递模块，所述信息传递模块配置为按照预设周期向调度系统传递各个节点的所述GPU卡的显存使用信息；

节点申请模块，所述节点申请模块配置为响应于创建训练任务，根据训练任务所需的GPU卡的个数和显存大小定义所述训练任务申请共享GPU卡或独享GPU卡的资源表现形式；

节点过滤模块，所述节点过滤模块配置为获取每个所述节点的所述GPU卡的所述显存使用信息，根据所述显存使用信息和所述资源表现形式选择所有所述节点中符合所需条件的节点作为预选节点；

打分选择模块，所述打分选择模块配置为对所述训练任务中不同的调度策略分别定义打分算法，根据所述打分算法计算每个所述预选节点的分数，并根据所述分数在所述预选节点中选择执行所述训练任务的节点。

7.根据权利要求6所述的基于GPU卡显存的混合调度装置，其特征在于，所述打分选择模块还配置为：

在所述调度策略为spread调度策略的情况下，定义所述打分算法为对所述GPU卡的显存空闲值更多的所述节点配置更高的所述分数。

8.根据权利要求6所述的基于GPU卡显存的混合调度装置，其特征在于，所述打分选择模块还配置为：

在所述调度策略为bestfit调度策略的情况下，定义所述打分算法为对所述GPU卡的显存空闲值更少的所述节点配置更高的所述分数。