[发明专利]搭建存储与计算分离的大数据平台的方法

权利要求书

1.一种搭建存储与计算分离的大数据平台的方法，其特征在于，应用于Ambari平台，所述Ambari平台与大数据平台通信，所述方法包括：

构建第一服务组件；

接收所述大数据平台发送的第二服务组件；

对所述第二服务组件和角色的功能进行升级；

在第一候选设备上部署Ambari管理工具；

在第二候选设备上部署存储集群；

在第三候选设备上部署计算集群；

基于所述第一服务组件、所述第二服务组件、所述Ambari管理工具、所述存储集群和所述计算集群得到所述存储与计算分离的大数据平台。

2.根据权利要求1所述的方法，其特征在于，所述第一服务组件包括对象存储服务组件Minio和分布式文件系统组件JuiceFS。

3.根据权利要求2所述的方法，其特征在于，所述构建第一服务组件包括：

搭建与所述对象存储服务组件Minio相关联的第一脚本；

搭建Minio Client角色；

搭建Minio Server Node角色；

搭建链接文件信息；

基于所述第一脚本、所述Minio Client角色、所述Minio Server Node角色、所述链接文件信息得到所述对象存储服务组件Minio。

4.根据权利要求2所述的方法，其特征在于，所述构建第一服务组件还包括：

搭建与所述分布式文件系统组件JuiceFS相关联的第二脚本；

搭建JuiceFS Client角色；

搭建JuiceFS Mount Node角色；

基于所述第二脚本、所述JuiceFS Client角色、所述JuiceFS Mount Node角色得到所述分布式文件系统组件JuiceFS。

5.根据权利要求1所述的方法，其特征在于，所述第二服务组件包括：

第一版本的HADOOP组件、第三版本的Spark组件、HDFS组件、Yarn组件、Mapreduce组件、Hive组件、Tez组件和ZooKeeper组件。

6.根据权利要求5所述的方法，其特征在于，所述对所述第二服务组件和角色的功能进行升级还包括：

获取第一版本的HADOOP组件的源码包；

修复所述第一版本的HADOOP组件的源码包中所需要的补丁并进行编译以形成第二版本的HADOOP组件；

将所述第二版本的HADOOP组件中的所述第一版本的HADOOP组件的jar包进行替换后将所述第二版本的HADOOP组件以rpm包的格式打包；

修改所述HDFS组件、所述Yarn组件和所述Mapreduce组件中metainfo.xml的版本信息以完成所述第一版本的HADOOP组件的升级。

7.根据权利要求6所述的方法，其特征在于，所述对所述第二服务组件和角色的功能进行升级包括：

获取第三版本的Spark组件的源码包；

接收所述第二版本的HADOOP组件的版本参数；

根据所述HADOOP组件的版本参数对所述第三版本的Spark组件的源码包进行编译以形成第四版本的Spark组件；

配置文件路径信息后将所述第四版本的Spark组件以rpm包的格式打包；

将所述第四版本的Spark组件信息配置添加至stack_package，并根据Spark2的相关信息搭建所述第四版本的Spark组件的服务框架以完成所述第四版本的Spark组件的升级。