[发明专利]基于Docker的快捷集成式Elastic MapReduce服务系统及实现方法

权利要求书

1.一种基于Docker的快捷集成式Elastic MapReduce服务系统，其特征在于，该Elastic MapReduce服务系统包括，

用户管理与认证模块，用于用户管理、用户认证及创建主子账；其中，用户管理与认证模块采用IAM与keycloak相结合；

前端页面与后端代理模块，用于使用Nginx服务实现反向代理，并使用Angular框架编写Web前端服务页面，使得用户请求处理的更有效率；

请求处理与分发模块，用于接收Web前端的服务请求，在检验的基础上根据请求的具体内容进入相应的处理逻辑，由此产生的业务数据被存储到数据库中；

集群资源分配与操作模块，用于根据请求处理与分发模块发送来的请求进行Hadoop集群资源的分配与操作，并最终将各种操作发送到后端的Hadoop集群去执行；

数据存储模块，用于数据的持久化，支持数据的定期备份；

集群可视化交互模块，用于实现集群组件的可视化交互，既能展示Web前端的各种作业在Hadoop集群中的执行状态，又能通过Hue进行各种状态检查、异常处理以及故障诊断；其中，集群可视化交互模块使用开源的Hue进行二次开发；

Elastic MapReduce服务系统利用Docker技术将用户管理与认证模块、前端页面与后端代理模块、请求处理与分发模块、集群资源分配与操作模块、数据存储模块以及集群可视化交互模块六个模块容器化，并使用Docker compose进行统一管理；该系统的使用过程如下：

（1）、用户开通或是独立部署EMR服务；

（2）、通过用户管理与认证模块创建主账号以及子账号；

（3）、使用主账号登陆到前端页面与后端代理模块为主账号及子账号开通服务；

（4）、使用主账号创建namespace，并在namespace中选择HDFS、HBase、Hive、YARN以及Kafka的服务，用户通过namespace能够简单快捷地使用和动态地扩展Hadoop集群的计算和存储资源；

（5）、EMR服务默认启用Kerberos服务，提供企业级的安全认证功能，能够充分保障业务数据以及集群资源的安全；

（6）、用户通过集群可视化交互模块交互式地操作Hadoop集群上安装的各项服务，同时集群可视化交互模块还提供作业笔记在线保存、离线下载以及分享的功能。

2.根据权利要求1所述的基于Docker的快捷集成式Elastic MapReduce服务系统，其特征在于，所述请求处理与分发模块和集群资源分配与操作模块均采用Spring Boot框架编写。