[发明专利]一种智能推荐训练服务基于Dolphinscheduler的部署方法

说明书

本发明公开了一种智能推荐训练服务基于Dolphinscheduler的部署方法，包括S1、部署Dolphinscheduler调度系统，安装基础软件并部署Dolphinscheduler调度系统的前后端，配置Dolphinscheduler调度系统相关联的基础软件配置，并调通Dolphinscheduler调度系统；S2、打包python虚拟环境和智能推荐训练服务，将智能推荐训练服务所依赖的python依赖包打包进python虚拟环境,以供智能推荐训练服务运行时调用，并将智能推荐训练服务的代码文件、脚本文件及相关文件打包，以供智能推荐训练服务运行；S3、运行Dolphinscheduler调度系统，并在Dolphinscheduler调度系统的前端配置智能推荐训练服务运行方案，配置完成后运行智能推荐训练服务并监控其执行情况。本发明简单，效率较高，且可靠可行，使用后将大大缩短部署项目的时间，实用性强。

技术领域

本发明属于机器学习技术领域，更具体涉及一种智能推荐训练服务基于Dolphinscheduler的部署方法。

背景技术

目前现有的智能推荐训练服务主要部署在无调度系统的台式集群环境上，需要手动配置训练环境。然而这样的环境需要集群化部署，很复杂，而且容易出现单点故障，还不支持多租户，在机器学习领域和大数据平台业务上使用不够灵活，任务太多会卡死服务器，而且也只能看到任务状态，无法可视化和轻松监控服务和集群环境的各项指标。

发明内容

为解决上述问题，本发明提供了一种智能推荐训练服务基于Dolphinscheduler的部署方法，能相对轻松部署集群化环境，而且 Dolphinscheduler自身也能够一键轻松部署，而且去中心化，还支持多租户，任务使用队列机制，任务多也不会造成服务器机器卡死，而且还支持可视化操作，支持暂停和恢复等多项操作，还可监控服务和集群环境的内存、cpu等各项指标。

为了解决上述技术问题，本发明采用的技术方案是这样的：一种智能推荐训练服务基于Dolphinscheduler的部署方法，包括如下步骤：

S1、部署Dolphinscheduler调度系统，安装基础软件并部署Dolphinscheduler调度系统的前后端，配置Dolphinscheduler调度系统相关联的基础软件配置，并调通Dolphinscheduler调度系统；

S2、打包python虚拟环境和智能推荐训练服务，将智能推荐训练服务所依赖的python依赖包打包进python虚拟环境,以供智能推荐训练服务运行时调用，并将智能推荐训练服务的代码文件、脚本文件及相关文件打包，以供智能推荐训练服务运行；

S3、运行Dolphinscheduler调度系统，并在Dolphinscheduler调度系统的前端配置智能推荐训练服务运行方案，配置完成后运行智能推荐训练服务并监控其执行情况。

作为优化，所述Dolphinscheduler调度系统的部署包括以下步骤，

S101、设置多台服务器,所述服务器中包括一台UI兼Api服务器、两台Master服务器、三台work服务器，并在每台服务器上均安装基础软件；

S102、在master服务器上创建多个部署用户，并设置所有部署用户具有sudo权限且相互免密；

S103、创建mysql数据库用于存放Dolphinscheduler元数据并初始化该数据库；

S104、修改Dolphinscheduler环境变量；

S105、修改Dolphinscheduler部署配置文件；

S106、运行部署脚本；

S107、部署用户创建租户并设置租户权限，所述租户用于在Dolphinscheduler调度系统的前端配置所述智能推荐服务运行方案。

作为优化，所述打包python虚拟环境和智能推荐训练服务包括以下步骤，