[发明专利]一种Taurus项目快速搭建构造方法

说明书

技术领域

本发明公开一种Taurus项目快速搭建构造方法，属于大数据平台管理领域。

背景技术

Taurus是一个基于开源项目Ambari的大数据平台管理系统，是调度系统， 通过时间依赖与任务依赖，触发任务的执行，并通过任务间的依赖管理将任务组织成工作流；支持Hadoop/Hive Job、Spring容器里的任务及一般性任务的调度/监控。Taurus的主节点称为Master，Web 界面与Master在一起。用户在Web界面上创建任务后，写入MySQL做持久化存储，当Master判断任务触发的条件满足时，则从MySQL中读出 任务信息，写入ZooKeeper；Agent部署在用户的机器上，观察ZooKeeper上的变化，获得任务信息，启动任务。目前很多用户，希望调度系统不仅可以调度Hadoop任务，也可以调度单机任务，甚至Spring容器里的任务，就需要使用Taurus，但Taurus开发过程中，需要不断对源代码进行编译，调试。编译的时间将会按照小时进行计算，如果网络环境不理想，将会达到数小时。通过对各模块编译时间的观察也发现因为Taurus是一个相对比较大的项目，所以依赖的其他大数据组件很多也很大，所以每次编译下载很费时间，尤其是项目组每个人在测试编译的时候都需要从远端服务器下载,更加费时。本发明提供一种Taurus项目快速搭建构造方法，采用Maven（http://maven.apache.org/）进行项目管理的。

发明内容

本发明针对Taurus是一个相对比较大的项目，依赖其他大数据组件很多也很大，所以每次编译下载很费时间，尤其是项目组每个人在测试编译的时候都需要从远端服务器下载,更加费时的问题，提供一种Taurus项目快速搭建构造方法，实现利用本发明方法快速搭建和修改Taurus，将Taurus最后编译过程时间由原来的几小时甚至数十小时，减少到数十分钟。

本发明提出的具体方案是：

一种Taurus项目快速搭建构造方法，具体步骤为：

①测试Taurus项目编译时间，利用Linux提供的时间记录机制，多次测试Taurus源码编译的时间，并将编译时间分段，对各个编译段的时间取平均值，查看占用时间最多的编译段；

②构建本地Maven依赖服务器，对私有服务器进行部署，下载私有服务器，安装完成后通过网页部分进行配置；

③根据Maven的要求将Taurus中的Pom.xml文件进行修改，根据步骤①占用时间最多的编译段，修改的模块有server 和 agent编译模块；

需要修改的项目有<repositories> <repository>私有服务器地址配置项</repository> </repositories>；

<pluginRepositories> <pluginRepository>私有服务器地址配置项</pluginRepository> </pluginRepositories>；

将上述修改指向步骤②中部署的私有服务器；

④Taurus搭建，通过上述私有服务器的部署和Taurus中的Pom.xml文件的修改，继续按照提示操作完成Taurus搭建编译即可。

所述的步骤②中部署的私有服务器是Nexus或者Archiva或者Artifactory。

所述的步骤②中部署的私有服务器是Nexus时，有两种安装方式，一种是自带jetty服务器，另一种不带jetty服务器；当安装为不带jetty服务器的Nexus，需要将下载的war包放到服务器中，当安装为带有jetty服务器的Nexus，可直接运行启动。

所述的步骤③中还包括修改镜像指向来修改<mirrors><mirror>私服地址配置项</mirror></mirrors>。

本发明的有益之处是：本发明提供一种Taurus项目快速搭建构造方法，针对Taurus是一个相对比较大的项目，依赖其他大数据组件很多也很大，所以每次编译下载很费时间，尤其是项目组每个人在测试编译的时候都需要从远端服务器下载,更加费时的问题，建立相应的Maven私有服务器仓库，查找并修改Taurus源码中最占用时间并且依赖下载的部分代码，并对其进行修复，改为指向私有服务器仓库下载，从而使Taurus搭建编译时间大幅度缩短，加快了搭建编译的速度，有利于提高工作效率。

附图说明