[发明专利]一种AI平台镜像处理的方法和装置

说明书

本发明公开了一种AI平台镜像处理的方法，包括：响应于接收到制作镜像的请求，扫描制作镜像的文件以检测文件的语法和格式是否正确，响应于检测文件的语法和格式正确，根据文件制作镜像；响应于接收到向训练平台导入镜像的请求，根据镜像的镜像类型以及组件信息选择并安装镜像训练所需的组件；根据镜像的优先级调整待导入的镜像的排队位置，根据排队位置导入镜像；响应于接收到模型训练的请求，根据镜像信息和训练任务信息分类并推荐镜像，并根据选择的镜像训练模型；响应于检测到镜像在本地磁盘空间的存储达到预设清理阈值，根据镜像的使用信息筛选并清理筛选出的镜像。本发明还公开了一种相应的装置。本发明可以提升AI平台的稳定性和可靠性。

技术领域

本发明涉及计算机技术领域，更具体地，特别是指一种AI平台镜像处理的方法和装置。

背景技术

现阶段，AI训练平台，都是基于镜像，在容器中训练模型，如果是分布式任务，需要多个容器同时进行训练，这些容器可能在一台或者多台服务器上。同时，AI平台基本都是微服务，支持容器化部署，并且支持K8S的调度和管理，具备容错能力，如果服务的镜像和镜像仓库出现问题，运行各个服务的容器，都可能受到影响，导致AI平台的功能出现问题，所以，对AI平台的镜像、以及镜像仓库的管理和维护至关重要。

现阶段，进行模型训练，需要安装不同深度学习框架的镜像，大型的AI平台可能拥有几十到上百个不同类型的镜像，对镜像的分类、检索、更新、数据迁移和备份，以及组件的升级维护，都需要花费大量的时间和精力。

针对高并发，分布式训练任务，需要在计算节点同时拉取多个镜像，高强度，高并发的镜像操作，需要镜像仓库具备更高的稳定性、可靠性以及容错能力。部署高可用的harbor镜像仓库，以及监控harbor仓库的健康状态，处理harbor仓库的各种异常，及时恢复harbor仓库的服务，需要AI平台具备良好的镜像处理策略和方法。

同时AI平台会根据训练需要，导入或者制作不同的镜像到AI平台，深度学习镜像，一般都是上G大小，导入和制作都需要花费一定时间。对于多用户高并发的导入和制作镜像，需要镜像处理模块，具备高并发能力，以及优先处理能力，为了提升用户体验，高并发场景，还需要具备排队位置显示，以及制作剩余时间显示的功能，同时提供进度显示，实时日志显示制作过程等功能。让AI平台的镜像管理具备高性能的同时，也具备易用性。

发明内容

有鉴于此，本发明实施例的目的在于提供一种使用镜像进行模型训练的AI平台，能够对服务镜像、深度学习等镜像进行处理，实现AI平台镜像的准确化和精细化管理，提升AI平台的稳定性和健壮性。实现Dockerfile文件语法检查，语法命令错误提示，格式错误提示等；实现高并发制作和导入镜像，可以根据docker服务器CPU、内存资源利用率，调整并发数量，同时可以根据优先级，调整操作的镜像，实时显示操作的镜像进度、排队位置和日志信息，支持删除排队状态的任务，及时终止不想制作和导入的镜像。制作和导入镜像的过程中，会自动安装推荐或手动选择的组件，比如jupyter,opencv,python等组件，保证导入的镜像，能够在AI平台进行模型训练。根据镜像管理策略和方法对AI训练平台的镜像进行多元化管理和维护，提升AI平台的稳定性和可靠性。

基于上述目的，本发明一方面提供了一种AI平台镜像处理的方法，该方法包括：

响应于接收到制作镜像的请求，扫描制作镜像的文件以检测文件的语法和格式是否正确，响应于检测文件的语法和格式正确，根据文件制作镜像；

响应于接收到向训练平台导入镜像的请求，根据镜像的镜像类型以及组件信息选择并安装镜像训练所需的组件；

根据镜像的优先级调整待导入的镜像的排队位置，根据排队位置导入镜像；

响应于接收到模型训练的请求，根据镜像信息和训练任务信息分类并推荐镜像，并根据选择的镜像训练模型；