[发明专利]GPU资源调度方法、装置及GPU

权利要求书

1.一种GPU资源调度方法，每个GPU绑定一个实时业务POD进程和一个非实时业务POD进程；所述实时业务POD进程用于处理实时业务，所述非实时业务POD进程用于处理非实时业务，其特征在于，一天分为高峰时间段和低峰时间段，所述高峰时间段和所述低峰时间段均包括至少两个时间分区，所述方法包括：

基于历史实时业务量预估每个所述时间分区的所需的实时业务POD进程数量的最小阈值和最大阈值；

若当前时间处于所述高峰时间段，则按照所在所述时间分区的所述最大阈值，将对应数量的所述实时业务POD进程置为运行状态，并将绑定同一GPU的所述非实时业务POD进程置为休眠状态；

若所述当前时间处于所述低峰时间段，则按照所在所述时间分区的所述最小阈值，将对应数量的所述实时业务POD进程置为运行状态，并将绑定同一GPU的所述非实时业务POD进程置为休眠状态；

将剩下的GPU所绑定的所述非实时业务POD进程置为运行状态，同时将绑定同一GPU的所述实时业务POD进程置为休眠状态；

定时计算所有处于运行状态的所述实时业务POD进程所绑定的GPU的平均资源利用率；

基于所述平均资源利用率的大小确定是否需要修改处于运行状态的所述实时业务POD进程的数量，或是否需要修改所述最小阈值，或是否需要修改所述最大阈值。

2.根据权利要求1所述的方法，其特征在于，基于所述平均资源利用率的大小确定是否需要修改处于运行状态的所述实时业务POD进程的数量的步骤，包括：

在调度周期切换时间点，判断在所述调度周期内的至少两个所述平均资源利用率的大小的范围；

若连续N次的所述平均资源利用率均小于或等于低水线阈值，则判断所述实时业务POD进程数量是否为所述最小阈值；

若否，则休眠第一数量的所述实时业务POD进程，并唤醒同一GPU的所述非实时业务POD进程。

3.根据权利要求2所述的方法，其特征在于，基于所述平均资源利用率的大小确定是否需要修改处于运行状态的所述实时业务POD进程的数量的步骤，还包括：

若连续N次的所述平均资源利用率均高于或等于高水线阈值；则判断所述实时业务POD进程数量是否到达所配置的GPU总数；若否，则休眠第二数量的所述非实时业务POD进程，并唤醒同一GPU的所述实时业务POD进程。

4.根据权利要求1所述的方法，其特征在于，基于所述平均资源利用率的大小确定是否需要修改所述最小阈值，或是否需要修改所述最大阈值的步骤，包括：

在调度周期切换时间点，判断在所述调度周期内的至少两个所述平均资源利用率的范围；

在低峰时间段，若连续N次的所述平均资源利用率均大于低水线阈值并小于高水线阈值，则判断当前处于运行状态的所述实时业务POD数量是否为当前时间分区内的所述最小阈值；若不是，则将所述调度周期的时间累加到实际最小阈值的第一持续时长；所述第一持续时长为所述实际最小阈值对应的时间分区的时长；

在预定时间后，若所述第一持续时长大于所述最小阈值所对应的时间分区的时长，则将所述实际最小阈值作为所述最小阈值；

在高峰时间段，若连续N次的所述平均资源利用率均大于低水线阈值并小于高水线阈值，则判断当前处于运行状态的所述实时业务POD数量是否为当前时间分区内的所述最大阈值；若不是，则将所述调度周期的时间累加到实际最大阈值的第二持续时长；所述第二持续时长为所述实际最大阈值对应的时间分区的时长；

在预定时间后，若所述第二持续时长大于所述最大阈值所对应的时间分区的时长，则将所述实际最大阈值作为所述最大阈值。