[发明专利]一种基于容器技术的勘探开发大数据处理平台的系统和方法

说明书

本发明公开了一种基于容器技术的勘探开发大数据处理平台的系统和方法，包括：（1）展示层提供了用户项目模块、消息中心模块、虚拟桌面模块、虚拟服务器模块、云存储模块、资源管理模块、资源监控模块、大数据集群模块、大数据模型模块、大数据提交模块、大数据展示模块等；（2）服务层包括服务管理模块、服务申请模块、服务审批模块、服务部署模块提、服务使用模块、服务接口模块等；（3）基础设施层包括身份认证模块、计算模块、镜像模块、块设备模块、网络模块、对象存储模块、虚拟机模块、容器模块、资源管理模块、资源监控等。该发明根据勘探开发软件大数据处理模型模板，编辑设置大数据处理模型，来分析处理勘探开发软件的海量数据。

技术领域

本发明涉及地质勘探开发数据处理技术领域的一种基于容器技术的勘探开发大数据处理平台的系统和方法。具体地说，涉及到运用容器技术设计开发的勘探开发大数据处理平台，来创建勘探开发大数据分析处理集群；使用大数据分析处理集群来分析勘探开发软件的使用情况，实现专业软件的精细化调度管理；更好的满足用户的应用需求，提高软件的应用效率。

背景技术

在勘探开发领域，各种勘探开发软件使用功能复杂，产生了海量的处理数据，比如许可软件模块使用热点的历史数据、许可软件模块整体评估的历史数据、探区热点的历史数据、用户个人许可模块使用的历史数据、许可软件模块占用消耗资源的历史数据、许可软件模块请求拒绝的历史数据等；需要对这些海量的勘探开发软件应用行为数据，使用大数据平台进行分析处理，建立云应用下的勘探开发软件行为分析预测模型，实现专业软件的精细化调度管理；更好的满足用户的应用需求，提高软件的应用效率；通过对勘探开发软件应用特点，用户工作习惯的分析，挖掘出隐藏的数据价值，为用户提供更好的应用体验。

容器技术，是在一台物理服务器上安装Linux操作系统，通过容器技术创建多个虚拟服务器，这些虚拟服务器和物理服务器共用Linux内核；每个虚拟服务器的文件系统使用物理服务器的文件系统，但做了隔离，看上去每个虚拟服务器都有自己独立的文件系统；在物理服务器上建立了虚拟网桥设备，每个虚拟服务器通过虚拟网桥设备连接网络；虚拟服务器直接使用物理服务器的CPU、内存、硬盘。

大数据平台Hadoop是一个由Apache基金会所开发的分布式系统基础架构；用户可以在不了解分布式底层细节的情况下，开发分布式程序；充分利用集群的威力进行高速运算和存储；Hadoop大数据处理技术已有十多年历史，被看做首选的大数据集群处理的解决方案；MapReduce是一路计算的优秀解决方案

大数据集群Spark是一种快速、通用的集群计算系统，它提供了高层次的API、Java、Scala、Python和R，和一种支持图处理的优化引擎，它还支持一组丰富的高级工具包括Spark SQL用于SQL查询和结构化数据处理，MLlib用于机器学习、图形处理和SparkStreaming。

但是，创建大数据集群，需要购买若干台服务器或虚拟机来部署，并且需要手动配置大数据集群；花费大量的财力和人力去部署配置大数据集群；如果能有一种技术，不需要购买很多服务器还能充分利用大数据集群的性能；并且自动配置大数据集群。

发明内容

本发明的目的就是针对现有技术的不足，提供一种不需要购买很多服务器还能充分利用大数据集群的性能，并且自动配置大数据集群的基于容器技术的勘探开发大数据处理平台的系统和方法。

本发明的技术方案包括：

一种基于容器技术的勘探开发大数据处理平台（简称勘探开发大数据处理平台）的系统，系统架构包括：

（1）展示层，包括用户项目、消息中心、虚拟桌面、虚拟服务器、云存储、资源管理、资源监控、大数据集群、大数据建模、大数据提交和大数据展示模块；

（2）服务层，包括服务管理、服务申请、服务审批、服务部署、服务使用和服务接口模块；