[发明专利]一种机器学习单机算法编排系统及方法

说明书

本发明提供一种机器学习单机算法编排系统及方法。所述系统特征在于包括：机器学习算法依赖模块，用于预定义机器学习算法容器镜像，并存储创建的所述机器学习算法容器镜像；应用容器平台，用于基于所述机器学习算法容器镜像创建应用容器；自定义业务算法模块，用于将业务算法代码存储于代码仓库或者以静态文件存储于分布式文件系统；算法环境框架，用于嵌入所述应用容器，具体为一种编程语言Python实现的方法和接口。实现了机器学习算法环境秒级创建、保证算法执行完毕、支持多算法任务负载的效果。

技术领域

本发明涉及计算机技术，特别涉及一种机器学习单机算法编排系统、方法及算法运行方法。

背景技术

Docker是基于LXC的应用程序容器技术，作为通用的容器方案，具有在宿主机中控制容器应用的资源分配作用，包括控制CPU核心数量、内存、网络以及磁盘卷大小。一个完整的Docker一般由以下几个部分组成：dockerClient客户端、Docker Daemon守护进程、Docker Image镜像、DockerContainer容器。Docker采用C/S架构Docker daemon作为服务端接受来自客户的请求，并处理这些请求(创建、运行、分发容器)。客户端和服务端既可以运行在一个机器上，也可通过socket或者RESTful API来进行通信。Docker daemon一般在宿主主机后台运行，等待接收来自客户端的消息。Docker客户端则为用户提供一系列可执行命令，用户用这些命令实现跟Docker daemon交互。

Hadoop YARN是分布式集群资源管理和分配的调度系统，支持资源队列隔离和计算节点分组管理的能力，可以支持管理多种分布式算法和框架的资源申请。Hadoop YARN是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。

Jekins是一种代码自动部署框架，应用于软件持续集成，自动化软件开发中的编译、分发、部署、测试工作流程。可通过yum安装，或下载war包以及通过docker容器等快速实现安装部署，可方便web界面配置管理。

Kubernates是用于容器自动部署、扩展和管理容器化应用程序的开源系统。

容器不具备迁移应用生成的数据和状态的能力，它适合无状态依赖的应用，但是对于机器学习单机算法计算来说，需要保存和转移数据输出，容器不具备数据环境迁移和数据资源管理的能力；

而Hadoop YARN只能管理按照YARN资源接口开发的任务，而不能兼容大量已经存在的单机算法资源的管理；

另外，Jekins只作为能够自动编译、分发、部署，实现测试代码的目标，而不能完成算法应用输入、输出的管理；

还有，传统单机运行环境不满足算法稳定性要求，运行环境崩溃则算法结果丢失，并且传统的应用部署方式是通过插件或脚本来安装应用。这样做的缺点是应用的运行、配置、管理、所有生存周期将与当前操作系统绑定，这样做并不利于应用的升级更新/回滚等操作，当然也可以通过创建虚拟机的方式来实现某些功能，但是虚拟机非常重，并不利于可移植性。

机器学习单机算法编排运行方法，往往是多租户的在操作系统层的命名空间隔离环境，包括操作系统层的用户隔离和操作系统虚拟化后的系统级隔离，但是这样的运行方法：

1.不能支持多租户多任务(单机算法计算)的运行环境快速搭建，资源开销大；

2.不支持环境参数灵活配置，即用即取，及时回收，可编程管理性差

发明内容