[发明专利]基于Docker的快捷集成式Elastic MapReduce服务系统及实现方法

说明书

本发明公开了基于Docker的快捷集成式Elastic MapReduce服务系统及实现方法，属于大数据开发领域，本发明要解决的技术问题为如何能够快速部署、服务高度集成、组件随意插拔的EMR服务，满足各项业务场景的需求，并有效的降低成本，采用的技术方案为：该Elastic MapReduce服务系统包括用户管理与认证模块、前端页面与后端代理模块、请求处理与分发模块、集群资源分配与操作模块、数据存储模块以及集群可视化交互模块；用户管理与认证模块用于用户管理、用户认证及创建主子账；前端页面与后端代理模块用于使用Nginx服务实现反向代理，并使用Angular框架编写Web前端服务页面，使得用户请求处理的更有效率。本发明还公开了一种基于Docker的快捷集成式Elastic MapReduce服务系统的实现方法。

技术领域

本发明涉及大数据开发技术领域，具体地说是一种基于Docker的快捷集成式Elastic MapReduce服务系统及实现方法。

背景技术

随着移动互联网的普及，业务数据呈现指数级别的增长。面对多维度、多种类、海量的业务数据，传统的数据管理系统将难以处理，而且不能有效的挖掘业务数据的内在价值。针对大数据场景发展而来的Hadoop生态，能够高效便捷地处理海量数据带来的各项挑战。因此，Hadoop系统也被广泛的应用于企业或组织的业务系统之中。以往，企业在开始使用Hadoop大数据系统前，会根据自身业务场景的特点选购必要的硬件设备，在硬件设备上安装部署所需的Hadoop集群，在Hadoop集群正式投入使用之前还需要根据实际情况对集群进行各种调试。在Hadoop集群部署完毕投入使用之后，还需要持续地投入大量资源来维护集群的正常运转。Elastic MapReduce(E-MR)服务可以高效地解决这些问题，ElasticMapReduce是一个集成化的集群托管平台，用户在开通服务后，通过UI界面连接并操作远端的Hadoop集群处理相关业务，轻松实现“开箱即用”。用户完全不需要关注硬件选型、环境配置、集群部署、运行维护等环节，可以将资源集中运用于业务开发，既能减少支出又可以提升开发效率。

目前主流云厂商均推出各自的Elastic MapReduce(E-MR)服务，用户通过服务控制台开通E-MR服务，通过集群CLI使用shell命令行执行各项作业，或者通过Zeppelin或是Hue的Web UI实现对集群各项资源的交互式操作。这个过程中用户需要操作多个Web界面，同时需要修改各项配置，不但会降低数据分析工作者的工作效率，还会造成用户体验不佳等影响。不管是针对原生Zeppelin还是Hue进行服务的各项配置都是一项既复杂有繁琐的工作，普通的数据分析师并不具备相应的经验和技能。通常出于对安全可靠的考虑，有些企业以及政府机构会选择在自建的私有云上运行大数据服务，需要有专业团队进行服务部署和集群运维。故如何能够快速部署、服务高度集成、组件随意插拔的EMR服务，满足各项业务场景的需求，并有效的降低成本是目前亟待解决的问题。

发明内容

本发明的技术任务是提供一种基于Docker的快捷集成式Elastic MapReduce服务系统及实现方法，来解决如何能够快速部署、服务高度集成、组件随意插拔的EMR服务，满足各项业务场景的需求，并有效的降低成本的问题。

本发明的技术任务是按以下方式实现的，一种基于Docker的快捷集成式ElasticMapReduce服务系统，该Elastic MapReduce服务系统包括，

用户管理与认证模块(E-MR IAM模块)，用于用户管理、用户认证及创建主子账；

前端页面与后端代理模块(E-MR Web UI模块)，用于使用Nginx服务实现反向代理，不但可以减少资源的占用，同时能够支持高并发场景，并使用Angular框架编写Web前端服务页面，使得用户请求处理的更有效率；

请求处理与分发模块(E-MR Api模块)，用于接收Web前端的服务请求，在检验的基础上根据请求的具体内容进入相应的处理逻辑，由此产生的业务数据被存储到数据库中；