[发明专利]一种集成化交互式Elastic MapReduce作业管理方法

说明书

本发明提供一种集成化交互式Elastic MapReduce作业管理方法，属于大数据开发技术领域，(1)通过设计Elastic MapReduce系统实现Hadoop集群托管的功能；(2)通过修改Zeppelin源码，将Zeppelin交互式作业管理的功能集成到Elastic MapReduce系统之中，实现集群托管、作业交互以及协作共享的功能；(3)通过修改Zeppelin Interpreter模块代码，预置常用Interpreter，简化用户操作流程，实现一键启用、自由插拔的功能。

技术领域

本发明涉及大数据开发技术，尤其涉及一种集成化交互式Elastic MapReduce作业管理方法。

背景技术

大数据技术的快速发展正在影响和改变着越来越多行业，传统的数据管理系统难以处理与日俱增正的业务数据，针对大数据处理发展出的Hadoop生态体系正在被越来越广泛的应用到企业或组织的业务数据管理系统之中。通常在开始使用Hadoop或是Spark等分布式处理系统之前，都需要根据自身业务数据的特征，选取机器硬件和软件的配置，部署Hadoop、Spark等应用软件，启动并调试Hadoop或是Spark等分布式处理系统。当大数据系统部署完成投入使用之后，还需要对系统进行日常运营维护，需要持续的投入大量人力物力。Elastic MapReduce服务可以轻松解决这个问题！Elastic MapReduce是一个托管集群平台，直接通过Web页面连接并操作远端的Hadoop分布式处理系统，用户完全不需要关心机器选型、环境配置、集群部署、运行维护等细节，可以将资源集中用于业务应用的开发之中。目前主要的云服务厂商均推出Elastic MapReduce服务，一般用户通过Elastic MapReduce服务控制台开通服务并创建集群资源，然后通过集群CLI使用shell命令行的方式提交作业，或者通过开源的Apache Zeppelin的Web GUI配置Zeppelin Interpreter选项卡并启动，以实现交互式数据探索和作业笔记共享。这个过程中需要操作多个Web页面，并进行一系列配置。不但会降低数据分析工作者的工作效率，而且会造成用户体验不佳等影响。而且针对原生的Apache Zeppelin进行各种配置是一件复杂且繁琐的事情，许多数据分析工作者并不具备相应的经验和技能。

目前针对大数据集群进行资源托管的Elastic MapReduce服务，能够极大简化大数据环境搭建和应用程序部署的流程，使得用户可以快速的预置、部署、扩展或是更新集群配置。数据分析工作者通过Elastic MapReduce服务的Web界面或者是RESTful API创建或是变更Namespace，同时可以将Namespace中的存储资源和计算资源分享给其他数据分析工作者。而且在进行上述操作的过程中，数据分析工作者完全不必担心基础资源的预置、集群配置与优化以及运行维护等问题，Elastic MapReduce服务会完成这些工作。ElasticMapReduce服务拥有“一键式”高可用功能，通过复选框即可以为HDFS、Spark、YARN、Hive、HBase等大数据应用软件配置高可用。而且随着业务的发展，数据分析工作者可以动态地对Namespace的存储资源和计算资源进行扩容，快速地配置成百数千个实例，而不需要暂停正在运行的作业。

发明内容

为了解决以上技术问题，本发明提出了一种基于Zeppelin的集成化交互式Elastic MapReduce作业管理方法，集成了Zeppelin内核的Elastic MapReduce服务，支持通过复选框一键配置Zeppelin Interpreter，提供多种Interpreter，方便数据分析工作者进行数据分析和数据可视化，而且还不需要跳出Elastic MapReduce服务的Web界面。同时系统还提供作业笔记在线保存、离线下载以及分享的功能，方便数据分析工作者使用和分享业务数据洞察。

本发明的技术方案是：