[发明专利]一种GPU集群中发布推理服务的方法、装置、设备和介质

说明书

本发明公开了一种GPU集群中发布推理服务的方法，包括：获取推理服务所需资源的资源信息以及镜像；获取启动推理服务所需的服务发布脚本，并封装服务发布脚本；将资源信息发送给调度系统并接收调度系统根据资源信息为推理服务分配的集群资源；根据镜像和分配的集群资源，搭建推理服务环境；根据提供的服务发布脚本，通过API服务发布推理服务。本发明还公开了一种相应的装置、设备和介质。本发明可针对GPU集群场景，快速调度资源创建AI环境。

技术领域

本发明涉及图像处理领域，更具体地，特别是指一种GPU集群中发布推理服务的方法、装置、设备和介质。

背景技术

伴随着人工智能行业的蓬勃发展，AI的应用所需的计算资源和数据资源越来越庞大，大部分AI公司选择构建GPU集群，但随着集群规模的扩大，如何快速分配GPU计算资源，搭建GPU集群的推理环境成为各大公司面临的问题。

目前在集群中发布推理服务一般采用的方式一为：手动指定集群节点，客户手动在宿主机上安装模型所需cuda，nvidia驱动，深度学习框架，以及模型所需要的依赖，并发布推理服务。

目前在集群中发布推理服务一般采用的方式二为：采用虚拟机的方式，手动指定GPU节点，安装虚拟机镜像启动推理服务，但GPU对于虚拟机的支持并不好，虚拟机能将GPU以直通的方式将宿主机器所有GPU卡接入虚拟机，手动安装cuda，nvida驱动，深度学习框架，以及各种依赖，发布推理服务。

手动在宿主机器部署推理服务，无法自动分配GPU资源，无法检测各个服务特征，在物理机器部署推理服务，可能存在依赖冲突，端口冲突等问题。

另外，虚拟机镜像庞大，可移植性差，虚拟机只能通过直通的方式将所有的GPU卡映射到机器中，导致GPU卡不能灵活分配。对于不同的框架生成的推理文件，发布所需要的推理服务不同，无法做到统一的方式发布。

发明内容

有鉴于此，本发明实施例的目的在于提供一种GPU集群中发布推理服务的方法、装置、设备和介质，以解决以上技术问题。

基于上述目的，本发明一方面提供了一种GPU集群中发布推理服务的方法，该方法包括：获取推理服务所需资源的资源信息以及镜像；获取启动推理服务所需的服务发布脚本，并封装服务发布脚本；将资源信息发送给调度系统并接收调度系统根据资源信息为推理服务分配的集群资源；根据镜像和分配的集群资源，搭建推理服务环境；根据提供的服务发布脚本，通过API服务发布推理服务。

在本发明的GPU集群中发布推理服务的方法的一些实施方式中，资源的资源信息包括：硬件资源信息、CPU核心数、显存大小、GPU个数。

在本发明的GPU集群中发布推理服务的方法的一些实施方式中，获取推理服务所需资源的资源信息以及镜像还包括：根据推理服务选择是否需要GPU资源，以及响应于需要GPU资源，将GPU资源需求的最小颗粒度配置为单张卡。

在本发明的GPU集群中发布推理服务的方法的一些实施方式中，方法还包括：建立镜像管理仓库，镜像管理仓库配置为管理并检测推理服务环境。

在本发明的GPU集群中发布推理服务的方法的一些实施方式中，根据提供的服务发布脚本，通过API服务发布推理服务还包括：根据提供的服务发布脚本，通过flask服务将推理服务统一发布为API接口。

本发明实施例的另一方面，还提供了一种GPU集群中发布推理服务的装置，该装置包括：信息获取模块，信息获取模块配置为获取推理服务所需资源的资源信息以及镜像；脚本启动模块，脚本启动模块配置为获取启动推理服务所需的服务发布脚本，被封装服务发布脚本；资源分配模块，资源分配模块配置为将资源信息发送给调度系统并接收调度系统根据资源信息为推理服务分配的集群资源；环境搭建模块，环境搭建模块配置为根据镜像和分配的集群资源，搭建推理服务环境；推理发布模块，推理发布模块配置为根据提供的服务发布脚本，通过API服务发布推理服务。