[发明专利]一种基于容器化技术的分布式机器学习平台的搭建方法

权利要求书

1.一种基于容器化技术的分布式机器学习平台的搭建方法，其特征在于，包括以下步骤：

S1：准备Docker仓库，本平台在部署和使用过程中都需要进行镜像的上传和拉去操作，必须要有一个Docker仓库才可以，这个Docker仓库可以是自建的，也可以是使用公共的Docker仓库；

S2：填写集群描述文件，集群描述文件主要用于搭建Kubernetes集群，里面需要包含Kubernetes集群要运行的节点的信息，各个组件的配置信息，以及各个节点需要运行哪些服务；

S3：部署Kubernetes集群，使用Python脚本读取集群描述文件，并生成所需要的shell脚本和Kubernetes描述文件，将这些文件通过ssh发送到各台主机执行，就可以完成Kubernetes集群的部署；

S4：填写服务描述文件，服务描述文件主要用于机器学习平台的各种服务的启动和运行，里面需要包含各个服务的配置信息和每个服务需要运行在哪些节点之上；

S5：将机器学习平台的服务制作成Docker镜像，使用Python脚本读取服务描述文件中各个服务的描述信息，生成各个服务对应的dockerfile，使用这些dockerfile构造镜像后上传到远程的仓库中；

S6：部署机器学习平台的服务，使用Python脚本读取步骤四中的服务描述文件来生成各个服务对应的Kubernetes描述文件，然后调用Kubernetes的命令行工具kubectl创建这些服务；

S7：等待各个服务完成协调同步，在部署完步骤S6的各个服务之后，各个组件需要一小段时间来完成同步，这期间可能会有若干服务数次重启，当所有服务都稳定运行之后，整个机器学习平台的搭建也就完成了。

2.根据权利要求1所述的基于容器化技术的分布式机器学习平台的搭建方法，其特征在于，该平台的学习过程是：

步骤一：上传代码和数据到HDFS，在本平台的设计中，程序的代码和数据都是需要从HDFS上获取，因此在执行任务之前需要使用pai-fs将本次任务所需要数据和机器学习的代码传输到HDFS上；

步骤二：填写任务描述文件，运行任务所需要的任务描述文件是用于描述要运行的任务需要使用的CPU、GPU、内存和磁盘等计算资源，各个节点需要执行的命令，程序地址，数据地址，输出地址等，以及在发生错误的时候需要重试的次数等；

步骤三：通过WebPortal提交任务，在WebPortal的任务提交页面，点击提交任务按钮，选择在步骤二准备好的任务描述文件，在提交成功之后会提示任务已成功提交；

步骤四：RESTServer准备运行脚本和框架描述文件，RESTServer将用户上传上来的任务描述文件解析，准备其在使用FrameworkLauncher中所需要的脚本和框架描述文件，并通过接口通知FrameworkLauncher启动任务；

步骤五：通过FrameworkLauncher启动任务，通过接口获取到新的任务之后，FrameworkLauncher会将该任务添加到任务队列中，等待执行，当轮到该任务执行，并且该任务所要求的资源条件都能够满足的时候，FrameworkLauncher就可以通知Hadoop YARN执行该任务；

步骤六：使用Hadoop YARN启动容器来执行任务，Hadoop YARN作为一个全局的资源管理器，可以同一调度全局的资源来执行机器学习任务，甚至可以跨机器调度，YARN会启动新的容器来运行要求执行的任务，并为这些容器赋予要求的资源；

步骤七：等待执行完成之后获取任务的执行结果，当任务执行完成之后，可以通过WebPortal来获取任务的执行结果，也可以直接从HDFS上下载运行过程中的输出数据。