[发明专利]GPU性能的监控方法、监控装置和电子设备

说明书

本申请实施例提供了一种GPU性能的监控方法、监控装置和电子设备，其中，该方法包括：通过目标脚本判断GPU是否开启MIG模式，其中，目标脚本为GPU所在的节点中至少用于获取并输出GPU中多个MIG小组的性能参数的脚本，MIG模式是用于将GPU划分为多个MIG小组的模式；在GPU开启MIG模式的情况下，通过目标脚本获取GPU中各MIG小组的标识符和索引值，根据每个MIG小组的标识符和索引值至少获取每个MIG小组对应的一组第一性能参数，并至少将第一性能参数存储至目标存储单元。通过本申请，解决了无法对GPU中的多个MIG小组的性能进行监控的问题，进而达到了监控GPU中多个MIG小组的性能的效果。

技术领域

本申请实施例涉及GPU性能监控领域，具体而言，涉及一种GPU性能的监控方法、监控装置、计算机可读存储介质和电子设备。

背景技术

对于人工智能云平台，深度学习算力资源是比较贵重的，类似于GA100的新型算力更为稀缺，GA100是NVIDIA TESLA-A100型号的GPU卡，是一种能够开启MIG(英伟达提出的GPU硬件维度算力切分方式，Multi-Instance GPU，简称为MIG)模式的新型算力，英伟达提供MIG功能也是为了从硬件根本实现对算力的合理切分与分配使用。MIG是对于GPU整卡来说更细粒度的资源切割，直接从物理角度将GPU的内核与显存进行拆分与重组，可以更大程度上的去适应多种较小任务的同时执行。且过去的GPU复用是使用时间片来实现多任务并发执行，根本上并不能算作是各任务相对独立，也无法保证资源的充分利用。

MIG可以将GPU的7个核与显存生成多种组合，使其能够灵活隔离资源与分配给任务。但是，开启MIG后，NVIDIA的“NVIDIA SMI”命令便无法获取到各MIG实例的详细监控指标，GPU利用率也显示N/A(不使用或者不支持当前功能)，只能获取到GPU整卡的数据与各MIG实例的显存使用情况。在k8s云平台的训练模块中，每个任务生成的pod(一种数据结构，Plain old data structure，简称为pod)会分配对应的GPU资源，当开启MIG后，将会自动把MIG实例的UUID(通用标识符，Universally Unique Identifer，简称为UUID)写入到pod的环境变量中，而无法直接获取其对应GPU的UUID，造成查询监控数据上的偏差。因此，GPU中多个任务的优化情况、训练情况、资源的使用情况就无法通过数据进行实时监控的，造成了功能上的缺失。

因此，亟需一种能够对GPU中多个MIG实例的性能进行监控的方法。

发明内容

本申请实施例提供了一种GPU性能的监控方法、监控装置、计算机可读存储介质和电子设备，以至少解决相关技术中无法对GPU中的多个MIG小组的性能进行监控的问题。

根据本申请的一个实施例，提供了一种GPU性能的监控方法，包括：通过目标脚本判断GPU是否开启MIG模式，其中，所述目标脚本为所述GPU所在的节点中至少用于获取并输出所述GPU中多个MIG小组的性能参数的脚本，所述MIG模式是用于将所述GPU划分为多个所述MIG小组的模式；在所述GPU开启所述MIG模式的情况下，通过所述目标脚本获取所述GPU中各所述MIG小组的标识符和索引值，根据每个所述MIG小组的标识符和索引值至少获取每个所述MIG小组对应的一组第一性能参数，并至少将所述第一性能参数存储至目标存储单元，其中，所述第一性能参数表示每个所述MIG小组的计算核心的性能且至少包括显存参数和dram_active参数。

在一个示例性实施例中，通过目标脚本判断GPU是否开启MIG模式之前，还包括：执行所述目标脚本中的NVIDIA SMI指令，在成功执行所述NVIDIA SMI指令的情况下，执行判断所述GPU是否开启MIG模式的步骤；在执行所述NVIDIA SMI指令失败的情况下，退出所述目标脚本。

在一个示例性实施例中，通过所述目标脚本获取所述GPU中各所述MIG小组的标识符和索引值，包括：通过所述目标脚本中的NVIDIA SMI L指令获取所述GPU中各所述MIG小组的标识符和索引值。