[发明专利]一种GPU任务的调配方法、装置、设备和介质

说明书

本发明公开了一种GPU任务的调配方法、装置、设备和介质，当全局调度器接收到GPU任务时，获取该GPU任务对应的GPU需求数量，并从API服务器获取各个集群节点分别对应的可用资源信息，进一步基于GPU需求数量匹配可用资源信息，以从多个集群节点中筛选至少一个候选节点，并生成与其对应的GPU可用列表，若候选节点的数量不少于两个，则发送该GPU可用列表至GPU监控服务器以获取到多个目标连接矩阵，根据各个目标连接矩阵内的GPU组合在环形通讯链路的比对结果，从候选节点选取决策节点，将GPU任务分配至该决策节点执行GPU任务。从而按照GPU任务的需求实现节点的最优化分配，有效提高GPU任务的执行效率。

技术领域

本发明涉及资源分配技术领域，尤其涉及一种GPU任务的调配方法、装置、设备和介质。

背景技术

随着社会发展，为了进一步解决人力成本，提升物流、运输效率，在越来越多的领域中投入了自动驾驶车辆的使用。

对于自动驾驶车辆而言，其行驶安全性作为首要考虑的因素之一，需要对自动驾驶车辆的各个功能进行不断的测试以尽可能提高其行驶安全性，通常自动驾驶车辆通过多次路测的方式实现。由于路测的成本较高，且存在部分功能无法通过单次路测进行检测，为此可以通过Kubernetes集群内的虚拟化设备实现对自动驾驶车辆的模拟测试。

而随着自动驾驶车辆内的深度学习模型的规模越来越大，往往需要多个图形处理器(graphics processing unit，GPU)进行模型的协同训练。但现有的Kubernetes集群在注册GPU资源时，通常是统一标记为GPU资源，难以按照各类任务进行GPU资源的最优化分配，对GPU资源的利用率较低。

发明内容

本发明提供了一种GPU任务的调配方法、装置、设备和介质，解决了现有的Kubernetes集群在注册GPU资源时，通常是统一标记为GPU资源，难以按照各类任务进行GPU资源的最优化分配，对GPU资源的利用率较低的技术问题。

本发明第一方面提供的一种GPU任务的调配方法，应用于资源集群内的全局调度器，所述全局调度器、API服务器和GPU监控服务器两两之间通信连接，所述资源集群包括多个集群节点，所述方法包括：

当接收到GPU任务时，获取所述GPU任务内的GPU需求数量并从所述API服务器获取各个所述集群节点对应的可用资源信息；

根据所述GPU需求数量和各所述可用资源信息，从多个所述集群节点中筛选至少一个候选节点并生成对应的GPU可用列表；

当所述候选节点的数量不少于两个时，发送所述GPU可用列表至所述GPU监控服务器；

当接收到所述GPU监控服务器响应所述GPU可用列表返回的多个目标连接矩阵时，根据各所述目标连接矩阵从多个所述候选节点选取决策节点；

将所述GPU任务分配至所述决策节点，并通过所述决策节点执行所述GPU任务。

可选地，所述集群节点包括资源插件和多个待判定GPU；所述方法还包括：

通过所述资源插件从多个所述待判定GPU获取各可用GPU对应的唯一设备标识；

通过所述资源插件采用所述唯一设备标识和所述集群节点对应的节点标识，构建可用资源信息并上传至所述API服务器；

通过所述资源插件遍历所述可用GPU，构建连接矩阵并上传至所述GPU监控服务器。

可选地，所述通过所述资源插件遍历所述可用GPU，构建连接矩阵并上传至所述GPU监控服务器的步骤，包括：

通过所述资源插件遍历所述可用GPU，确定所述可用GPU两两之间的多个初始链路信息；

选取链路级别最高的初始链路信息作为所述可用GPU的目标链路信息；