[发明专利]一种基于k8s的机器学习模型训练方法及系统

权利要求书

1.一种基于k8s的机器学习模型训练方法，其特征在于，包括以下步骤：

S1：依次构建模型训练所需的镜像、算法和数据集，添加模型信息，并创建模型训练输出和训练任务日志输出的文件夹；

S2：将模型训练所需的镜像、算法、数据集、模型信息和文件夹保存到数据库；

S3：扫描数据库中的任务训练数据表，查看可执行任务，如果有，执行S5，没有则等待下一次调度；

S4：查看K8S机器当前的资源是否满足任务执行需求，如果满足，执行S6，不满足，则等待下一次调度；

S5：构建任务所需的yaml文件；

S6：调用k8s创建执行模型训练的job和相关的pv和pvc，开始模型训练。

2.根据权利要求1所述的一种基于k8s的机器学习模型训练方法，其特征在于，所述S1中，构建模型所需的镜像包括以下步骤：

选择模型训练所需的基础镜像和模型训练任务执行所需的依赖；

添加关于镜像的描述信息，构建镜像信息并将这些信息保存到数据库中；

扫描需要创建镜像的任务表，查找需要执行的任务；

在NFS服务器的/images/image_name文件夹创建Dockerfile和requirement.txt文件；

docker通过Dockerfile和requirement.txt创建镜像；

把镜像push到私有镜像仓库。

3.根据权利要求1所述的一种基于k8s的机器学习模型训练方法，其特征在于，所述S1中，构建模型所需的算法包括以下步骤：

上传算法的压缩包；

添加算法的描述信息；

解压算法压缩包到NFS服务器/algorithms/algorithm_name文件夹下；

构建算法信息，并保存到数据库。

4.根据权利要求1所述的一种基于k8s的机器学习模型训练方法，其特征在于，所述S1中，构建模型所需的数据集包括以下步骤：

上传数据集压缩包；

添加数据集的描述信息；

解压数据集压缩包到NFS服务器下的/datasets/dataset_name文件夹下；

构建数据集信息，并保存到数据库。

5.根据权利要求1所述的一种基于k8s的机器学习模型训练方法，其特征在于，所述S7包括：

构建pv和pvc所需的yaml文件；

构建job所需的yaml文件。

6.根据权利要求1所述的一种基于k8s的机器学习模型训练系统，其特征在于，包括任务信息构建模块、任务信息存储模块和任务执行模块；

任务信息构建模块，用于依次构建模型训练所需的镜像、算法和数据集，添加模型信息，并创建模型训练输出和训练任务日志输出的文件夹；

任务信息存储模块，用于将模型训练所需的镜像、算法、数据集、模型信息和文件夹保存到数据库；

任务执行模块，用于扫描数据库中的任务训练数据表，查看可执行任务，如果没有，则等待下一次调度，如果有，查看K8S机器当前的资源是否满足任务执行的需求，如果不满足，等待下一次调度，如果满足，则构建任务所需的yaml文件，调用k8s创建执行模型训练的job和相关的pv和pvc，开始模型训练。