[发明专利]一种基于kubernetes的提高GPU利用率的调度方法及装置

权利要求书

1.一种基于kubernetes的提高GPU利用率的调度方法，其特征在于，所述方法包括：

获取在一段时间内的实时资源利用率；

对该段时间内的实时资源利用率进行采样，得到该段时间内的平均资源利用率；

根据所述该段时间的平均资源利用率、某一算法已使用的pod数量、最大利用率以及最小利用率预测得到下一段时间所需的pod数量；

根据所述某一算法在下一段时间所需的pod数量与某一算法已使用的pod数量对pod数量进行调整；

若当前已使用的pod数量大于下一段时间所需的pod数量，则减少pod的数量；若当前已使用的pod数量小于下一段时间所需的pod数量，则增加pod的数量；

所述获取在一段时间内的实时资源利用率，包括：

分别获取某一算法在第一时间段内、第二时间段内分析的图片数量；

根据某一算法在第一时间段内分析的图片数量与某一算法在第二时间内分析的图片数量以及某一算法在1秒钟内1个pod所能分析的最大图片数量得到某一算法的实时资源利用率；所述某一算法的实时资源利用率，表示为：

其中，U_ij表示某一算法的实时资源利用率，i,j分别第一时间段、第二时间段，ij，C_i表示某一算法在第一时间段内分析的图片数量，C_j表示某一算法在第二时间段内分析的图片数量，M表示某一算法在1秒钟内1个pod所能分析的最大图片数量。

2.根据权利要求1所述的基于kubernetes的提高GPU利用率的调度方法，其特征在于，通过下式计算所述平均资源利用率，

其中，表示平均资源利用率，P表示一段时间内实时资源利用率的采样次数，Q表示某一算法运行pod数量；表示该算法运行Q个pod的利用率；表示该算法运行Q个pod的利用率的平均值；表示一段时间内，多次采集的数据之和。

3.根据权利要求2所述的基于kubernetes的提高GPU利用率的调度方法，其特征在于，通过下式计算某一算法在下一段时间所需的pod数量；

其中，表示平均资源利用率，Z表示某一算法下一段时间所需的pod数量，Zo为某一算法已使用的pod数量，p_max表示最大利用率，p_min表示最小利用率。

4.一种基于kubernetes的提高GPU利用率的调度装置，其特征在于，所述装置包括：

实时资源利用率获取模块，用于获取在一段时间内的实时资源利用率；

平均资源利用率计算模块，用于对该段时间内的实时资源利用率进行采样，得到该段时间内的平均资源利用率；

预测模块，用于根据所述该段时间的平均资源利用率、某一算法已使用的pod数量、最大利用率以及最小利用率预测得到下一段时间所需的pod数量；

调度模块，用于根据所述某一算法在下一段时间所需的pod数量与某一算法已使用的pod数量对pod数量进行调整；

若当前已使用的pod数量大于下一段时间所需的pod数量，则减少pod的数量；若当前已使用的pod数量小于下一段时间所需的pod数量，则增加pod的数量；

所述实时资源利用率获取模块：

第一图片获取子模块，用于获取某一算法在第一时间段内分析的图片数量；

第二图片获取子模块，用于获取某一算法在第二时间段内分析的图片数量；

实时资源利用率计算子模块，用于根据某一算法在第一时间段内分析的图片数量与某一算法在第二时间内分析的图片数量以及某一算法在1秒钟内1个pod所能分析的最大图片数量得到某一算法的实时资源利用率；

所述实时资源利用率获取模块通过下式获取某一算法的实时资源利用率，表示为：

其中，U_ij表示某一算法的实时资源利用率，i,j分别第一时间段、第二时间段，ij，C_i表示某一算法在第一时间段内分析的图片数量，C_j表示某一算法在第二时间段内分析的图片数量，M表示某一算法在1秒钟内一个pod所能分析的最大图片数量。