[发明专利]一种基于容器化技术的分布式机器学习平台的搭建方法

摘要

本发明提供一种基于容器化技术的分布式机器学习平台的搭建方法，利用该方法搭建的平台可提高资源的利用效率和计算效率，方便管理和提交任务，使用户可以更加专注于深度学习的研究中，而不用顾虑硬件及其他的问题。

主权项

1.一种基于容器化技术的分布式机器学习平台的搭建方法，其特征在于，包括以下步骤：S1：准备Docker仓库，本平台在部署和使用过程中都需要进行镜像的上传和拉去操作，必须要有一个Docker仓库才可以，这个Docker仓库可以是自建的，也可以是使用公共的Docker仓库；S2：填写集群描述文件，集群描述文件主要用于搭建Kubernetes集群，里面需要包含Kubernetes集群要运行的节点的信息，各个组件的配置信息，以及各个节点需要运行哪些服务；S3：部署Kubernetes集群，使用Python脚本读取集群描述文件，并生成所需要的shell脚本和Kubernetes描述文件，将这些文件通过ssh发送到各台主机执行，就可以完成Kubernetes集群的部署；S4：填写服务描述文件，服务描述文件主要用于机器学习平台的各种服务的启动和运行，里面需要包含各个服务的配置信息和每个服务需要运行在哪些节点之上；S5：将机器学习平台的服务制作成Docker镜像，使用Python脚本读取服务描述文件中各个服务的描述信息，生成各个服务对应的dockerfile，使用这些dockerfile构造镜像后上传到远程的仓库中；S6：部署机器学习平台的服务，使用Python脚本读取步骤四中的服务描述文件来生成各个服务对应的Kubernetes描述文件，然后调用Kubernetes的命令行工具kubectl创建这些服务；S7：等待各个服务完成协调同步，在部署完步骤S6的各个服务之后，各个组件需要一小段时间来完成同步，这期间可能会有若干服务数次重启，当所有服务都稳定运行之后，整个机器学习平台的搭建也就完成了。