[发明专利]GPU资源调度方法、装置及GPU

说明书

本发明实施例提供的GPU资源调度方法、装置及GPU，所述方法包括：基于历史实时业务量预估每个时间分区的所需的实时业务POD进程数量的最小阈值和最大阈值；根据最小阈值和最大阈值确定每个时间分区处于运行状态的实时业务POD进程的数量，并定时计算所有处于运行状态的实时业务POD进程所绑定的GPU的平均资源利用率；基于平均资源利用率的大小确定是否需要修改处于运行状态的实时业务POD进程的数量，或是否需要修改最小阈值，或是否需要修改最大阈值。通过根据实时GPU的平均资源利用率的大小修正最小阈值和最大阈值，以及处于运行状态的实时业务POD进程的数量，提高了资源调度机制的准确率和有效性，大幅度提高了GPU资源利用率。

技术领域

本发明涉及GPU资源调度领域，具体而言，涉及一种GPU资源调度方法、装置及GPU。

背景技术

在安防行业，随着对摄像机所采集的视频、图片的后端智能分析需求越来越强烈，存在着对GPU显卡的大规模使用需求。同时，基于Kubernetes(K8S)和docker的容器云，在安防行业也得到越来越多的应用。目前K8S对GPU调度已经支持多POD的共享模式，即多个POD可以绑定并使用同一个GPU资源。

安防行业存在着实时视频流分析、实时图片流分析、录像流解析、人脸特征聚类等各种实时或非实时业务，由于缺乏有效的资源调度机制，GPU显卡的使用还是存在着利用率低下的问题。没有资源复用机制时，安防局点所部署的GPU显卡，全天资源利用率一般在20％以下。

对于上述问题，安防业界的一种通用策略是：按照白天、黑夜模式对实时图片流解析业务与录像流解析、人脸特征聚类等非实时业务进行资源共享调度。即：白天实时图片流解析业务全量占用分配给这部分业务的GPU资源，夜晚释放出一部分资源给非实时业务使用，以达到提高资源利用率的目的。

但是，由于上述策略的资源复用时间粒度比较粗，因此只能小幅度提高GPU资源利用率，GPU卡的全天资源利用率可以接近40％，还存在较大优化空间。

另外，在局点部署的GPU资源方面，还缺乏有效的计算方法。

发明内容

有鉴于此，本发明的目的在于提供一种文件默认命名方法、装置和电子设备。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供一种GPU资源调度方法，每个GPU绑定一个实时业务POD进程和一个非实时业务POD进程；所述实时业务POD进程用于处理实时业务，所述非实时业务POD进程用于处理非实时业务，所述方法包括：

基于历史实时业务量预估每个时间分区的所需的实时业务POD进程数量的最小阈值和最大阈值；

根据所述最小阈值和所述最大阈值确定每个所述时间分区处于运行状态的所述实时业务POD进程的数量，并定时计算所有处于运行状态的所述实时业务POD进程所绑定的GPU的平均资源利用率；

基于所述平均资源利用率的大小确定是否需要修改处于运行状态的所述实时业务POD进程的数量，或是否需要修改所述最小阈值，或是否需要修改所述最大阈值。

一天分为高峰时间段和低峰时间段，所述高峰时间段和所述低峰时间段均包括至少两个所述时间分区；在可选的实施方式中，根据所述最小阈值和所述最大阈值确定每个所述时间分区处于运行状态的所述实时业务POD进程的数量的步骤，包括：

若当前时间处于所述高峰时间段，则按照所在时间分区的所述最大阈值，将对应数量的所述实时业务POD进程置为运行状态，并将绑定同一GPU的所述非实时业务POD进程置为休眠状态；

若所述当前时间处于所述低峰时间段，则按照所在时间分区的所述最小阈值，将对应数量的所述实时业务POD置为运行状态，并将绑定同一GPU的所述非实时业务POD进程置为休眠状态；