[发明专利]深度学习作业的运行方法及装置

说明书

本发明提供了一种深度学习作业的运行方法及装置，该方法包括：通过获取待处理深度学习作业信息；其中待处理深度学习作业信息包括待处理深度学习作业的类型；然后根据待处理深度学习作业的类型在预设的运行策略中匹配得到待处理深度学习作业的类型所对应的调度策略；其中，调度策略包括深度学习作业的运行优先级；最后根据深度学习作业的运行优先级运行待处理深度学习作业。通过将深度学习作业与运行策略分开，作为独立的两个部分，仅在需要进行运行深度学习作业的时候在预设的运行策略中匹配得到深度学习作业的类型所对应的调度策略，其中调度策略包括深度学习作业的运行优先级，以达到统一所有的operator的优先级策略，以便于在后续的扩展维护的目的。

技术领域

本发明涉及计算机技术领域，特别涉及一种深度学习作业的运行方法及装置。

背景技术

随着计算机技术发展的越来越快，Kubernetes应用的越来越多，Kubernetes是一个用于容器集群的自动化部署、扩容以及运维的开源平台，可以缩写为K8s；Kube-bath是K8s的批处理调度程序，为希望运行的K8s的批处理作业的应用程序提供机制；kubeflow是一个胶水项目，它把诸多对机器学习的支持，比如模型训练，超参数训练，模型部署等进行组合并已容器化的方式进行部署，提供整个流程各个系统的高可用及方便的进行扩展部署了kubeflow的用户就可以利用它进行不同的机器学习深度学习作业。不同类型的深度学习作业被称为operator，例如tensorflow的就叫做tf-operator。

目前，在Kube-bath进行调度的时候会有深度学习作业(job)的优先级选项，而在Kubeflow中包含多种operator，且每种job都会有优先级的设定，但一直也没有一个统一的标准，并且也没有完全实现，导致在后续的扩展维护的过程中十分的不便。

发明内容

有鉴于此，本发明实施例提供一种深度学习作业的运行方法及装置，用于统一所有的operator的优先级策略，以便于在后续的扩展维护。

为实现上述目的，本发明实施例提供如下技术方案：

一种深度学习作业的运行方法，包括：

获取待处理深度学习作业的信息；其中，所述待处理深度学习作业的信息包括所述待处理深度学习作业的类型；

根据所述待处理深度学习作业的类型，在所述预设的运行策略中匹配得到所述待处理深度学习作业的类型所对应的调度策略；其中，所述调度策略包括深度学习作业的运行优先级；

根据所述深度学习作业的运行优先级，运行所述待处理深度学习作业。

可选的，所述根据所述深度学习作业的运行优先级，运行所述待处理深度学习作业，包括：

判断所述待处理深度学习作业的运行优先级是否大于正在运行的深度学习作业的运行优先级；

若判断出所述待处理深度学习作业的运行优先级大于或等于所述正在运行的深度学习作业的运行优先级，则暂停所述正在运行的深度学习作业，运行所述待处理深度学习作业；

若判断出所述待处理深度学习作业的运行优先级小于所述正在运行的深度学习作业的运行优先级，则继续运行所述正在运行的深度学习作业，将所述待处理深度学习作业放入运行队列中。

可选的，所述将所述待处理深度学习作业放入运行队列中之后，还包括：

将所述运行队列中的每一个深度学习作业和所述待处理深度学习作业按照运行优先级的大小进行排序。

可选的，所述深度学习作业的运行方法，还包括：

每隔预设的时间更新所述运行策略中的深度学习作业的信息以及每一个深度学习作业的类型所对应的调度策略。

一种深度学习作业的运行装置，包括：