[发明专利]监控训练任务的方法、系统及计算机存储介质

权利要求书

1.一种监控训练任务的方法，其特征在于，所述方法包括：

接收待处理的训练任务的启动请求；

将所述启动请求发送给kubernetes集群的主节点，以使所述主节点创建相应的容器；

获取所述容器的启动状态；

根据所述启动状态，将所述训练任务的训练信息通过消息队列发送给所述容器，以控制所述容器的训练行为。

2.根据权利要求1所述的监控训练任务的方法，其特征在于，

所述将所述启动请求发送给kubernetes集群的主节点，以使所述主节点创建相应的容器，包括：

获取kubernetes集群中服务器的空闲数量；

根据所述服务器的空闲数量，将待处理的训练任务的启动请求发送给kubernetes集群的主节点，以使所述主节点创建相应的容器。

3.根据权利要求1所述的监控训练任务的方法，其特征在于，

所述根据所述启动状态，将所述训练任务的训练信息通过消息队列发送给所述容器，以控制所述容器的训练行为，包括：

获取所述训练任务的训练素材；

将所述训练素材通过消息队列发送给所述容器；

通过消息队列发送启动消息指令给所述容器，以使所述容器根据所述训练素材进行训练。

4.根据权利要求3所述的监控训练任务的方法，其特征在于，

所述根据所述启动状态，将所述训练任务的训练信息通过消息队列发送给所述容器，以控制所述容器的训练行为，还包括：

接收所述训练任务的暂停指令；

将所述暂停指令通过所述消息队列发送给所述容器，以暂停所述容器的训练；

获取所述训练任务新的训练素材和/或所述训练任务的训练参数；

将新的所述训练素材和/或所述训练参数通过消息队列发送给所述容器。

5.根据权利要求3或4所述的监控训练任务的方法，其特征在于，

所述根据所述启动状态，将所述训练任务的训练信息通过消息队列发送给所述容器，以控制所述容器的训练行为，还包括：

接收所述训练任务的重启指令；

将所述重启指令通过所述消息队列发送到所述容器，以重新启动所述容器的训练任务。

6.根据权利要求1所述的监控训练任务的方法，其特征在于，还包括：

周期获取所述容器的操作日志，并将所述操作日志保存。

7.根据权利要求6所述的监控训练任务的方法，其特征在于，还包括：

接收所述训练任务的进度查询指令；

根据所述进度查询指令，获取所述训练任务的所述操作日志；

根据所述操作日志，将所述训练任务的进度信息图像化显示。

8.一种监控训练任务的系统，其特征在于，包括：

至少一个服务器，所述服务器用于部署Kubernetes集群；

存储器，所述存储器与所述服务器通信连接；

AI平台，所述AI平台与所述服务器通信连接；所述AI平台执行所述指令时实现如权利要求1至7任一项所述的监控训练任务的方法，所述Kubernetes集群用于根据所述AI平台的操作指令进行容器创建以及训练任务执行。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至7任一项所述的监控训练任务的方法。