[发明专利]一种基于容器化技术的分布式机器学习平台的搭建方法

说明书

本发明提供一种基于容器化技术的分布式机器学习平台的搭建方法，利用该方法搭建的平台可提高资源的利用效率和计算效率，方便管理和提交任务，使用户可以更加专注于深度学习的研究中，而不用顾虑硬件及其他的问题。

技术领域

本发明涉及机器学习领域，更具体地，涉及一种基于容器化技术的分布式机器学习平台的搭建方法。

背景技术

近年来，随着计算水平和算法的进步，机器学习特别是深度学习获得了极大的发展，俨然已经成为当前最火热的研究领域，并且在越来越多的领域，越来越多的问题中得到应用。而有很多复杂的问题都有更大的数据集，更高的计算量，更久的运算时间。这个时候单台的计算机的资源（CPU，GPU，内存，磁盘等）和性能很容易陷入瓶颈，无法满足机器学习任务的要求。分布式计算是当前大数据处理的核心技术，它可以将一个任务划分为可以并行执行的多个部分，然后分配到各个节点上，各个节点会并行的执行，之后再将执行的结果进行汇总。而机器学习的任务有大量可以并行执行的计算，而且最主流的几个机器学习框架都支持分布式下的运算。因此，将机器学习结合到分布式计算平台上是大势所趋。

以docker为代表的容器化技术日渐成熟，其使用镜像创建一个虚拟化的运行环境，运行环境中包含了所需的所有依赖，其轻量级，易管理的特点受到了广泛的欢迎。因此，使用docker来部署分布式平台的相关组件，来组合成最终的平台，可以减少很多工作。而以kubernetes为代表的容器编排工具，可以有效的对容器进行管理，可以保证容器的高可用，滚动升级，负载均衡等，对于平台的鲁棒性提供了很大的支撑。本技术以docker为基础，搭建一个分布式的机器学习平台，既能对机器学习有良好的支持，又可以保证简洁性和可用性，实现机器学习平台的定制化。

发明内容

本发明提供一种基于容器化技术的分布式机器学习平台的搭建方法，该方法搭建的平台利用效率和计算效率高。

为了达到上述技术效果，本发明的技术方案如下：

一种基于容器化技术的分布式机器学习平台的搭建方法，包括以下步骤：

S1：准备Docker仓库，本平台在部署和使用过程中都需要进行镜像的上传和拉去操作，必须要有一个Docker仓库才可以，这个Docker仓库可以是自建的，也可以是使用公共的Docker仓库；

S2：填写集群描述文件，集群描述文件主要用于搭建Kubernetes集群，里面需要包含Kubernetes集群要运行的节点的信息，各个组件的配置信息，以及各个节点需要运行哪些服务；

S3：部署Kubernetes集群，使用Python脚本读取集群描述文件，并生成所需要的shell脚本和Kubernetes描述文件，将这些文件通过ssh发送到各台主机执行，就可以完成Kubernetes集群的部署；

S4：填写服务描述文件，服务描述文件主要用于机器学习平台的各种服务的启动和运行，里面需要包含各个服务的配置信息和每个服务需要运行在哪些节点之上；

S5：将机器学习平台的服务制作成Docker镜像，使用Python脚本读取服务描述文件中各个服务的描述信息，生成各个服务对应的dockerfile，使用这些dockerfile构造镜像后上传到远程的仓库中；

S6：部署机器学习平台的服务，使用Python脚本读取步骤四中的服务描述文件来生成各个服务对应的Kubernetes描述文件，然后调用Kubernetes的命令行工具kubectl创建这些服务；

S7：等待各个服务完成协调同步，在部署完步骤S6的各个服务之后，各个组件需要一小段时间来完成同步，这期间可能会有若干服务数次重启，当所有服务都稳定运行之后，整个机器学习平台的搭建也就完成了。

进一步地，该平台的学习过程是：