[发明专利]一种基于容器技术的勘探开发大数据处理平台的系统和方法

权利要求书

1.一种基于容器技术的勘探开发大数据处理平台的系统，其特征在于，所述系统架构包括：

（1）展示层，包括用户项目、消息中心、虚拟桌面、虚拟服务器、云存储、资源管理、资源监控、大数据集群、大数据建模、大数据提交和大数据展示模块；

（2）服务层，包括服务管理、服务申请、服务审批、服务部署、服务使用和服务接口模块；

（3）基础设施层，包括身份认证、计算、镜像、块设备、网络块、对象存储、虚拟机、资源管理、容器和监控系统模块。

2.如权利要求1所述的基于容器技术的勘探开发大数据处理平台的系统，其特征在于，

（1）展示层各功能模块：

用户项目模块提供用户管理、项目管理；消息中心模块提供用户发送消息，系统发送广播消息；虚拟桌面模块提供虚拟桌面创建、使用、访问；虚拟服务器模块提供虚拟服务器创建、使用、访问；云存储模块提供云存储网盘；资源管理模块提供网络、云主机类型、镜像、主机聚合；资源监控模块提供虚拟机和服务器的CPU利用率、内存利用率、存储和网络的监控；大数据集群模块提供创建Hadoop、spark集群，用户输入大数据集群数量、机器名、IP地址，系统会自动部署大数据集群并自动配置；大数据建模模块提供了大数据处理模型的模板，设置编辑大数据处理模型；大数据提交模块提供用户提交大数据作业请求；大数据展示模块提供以表格和图形展示大数据分析处理结果；

（2）服务层各功能模块：服务层由一个或多个不同勘探开发软件类型的虚拟机或容器集群实例组成，服务集群实例包括全部虚拟机或全部是容器，或者同时包括虚拟机和容器；

其中：服务管理模块提供给系统管理员发布服务；服务申请模块提供给租户管理员申请服务；服务审批模块提供给审批管理员审批服务；服务部署模块提供给系统管理员部署服务集群实例；服务使用模块提供给用户使用服务集群实例；服务接口模块包括认证、计算、网络、镜像、对象、虚拟机和容器模块交互的接口；

（3）基础设施层各功能模块：

认证模块提供统一身份认证功能；计算模块提供创建服务集群实例虚拟机或容器；镜像模块提供服务集群的虚拟机镜像或容器镜像；块设备模块提供服务实例虚拟机云硬盘；网络模块提供服务集群实例的网络；对象存储模块提供镜像、图片存储；虚拟机模块提供虚拟机创建、启动、关闭和删除；容器模块提供容器的创建、启动、关闭、删除；资源管理模块提供租户CPU、内存、存储资源的配额调整；监控系统模块提供服务集群实例的实时监控。

3.一种基于权利要求1或2所述的基于容器技术的勘探开发大数据处理平台的系统进行大数据处理的方法，其特征在于，所述勘探开发大数据处理平台的大数据Hadoop、Spark容器镜像制作方法包括以下步骤：

步骤一、安装容器系统软件、桌面软件；

步骤二、安装配置安全外壳协议（SSH）、远程控制软件（VNC）、网页远程控制软件（NOVNC）服务；

步骤三、安装配置Java软件；

步骤四、安装配置大数据Hadoop软件；

步骤五、安装配置大数据Spark软件；

步骤六、安装配置大数据Hive软件；

步骤七、安装配置大数据HBase软件；

步骤八、添加自动配置大数据Hadoop服务程序；

步骤九、添加自动配置大数据Spark服务程序；

步骤十、安装配置容器服务启动脚本。

4.根据权利要求3所述的基于容器技术的勘探开发大数据处理平台系统进行大数据处理的方法，其特征在于，所述勘探开发大数据处理平台的创建大数据Hadoop、Spark集群的方法包括以下步骤：

步骤一、选择大数据Hadoop、Spark容器镜像；

步骤二、输入大数据集群模块数量；

步骤三、输入大数据集群的机器名或起始机器名；

步骤四、输入大数据集群的IP地址或起始IP地址；

步骤五、输入大数据集群的名称；

步骤六、输入大数据集群部署的服务器或自动选择；

步骤七、提交创建大数据集群请求。