[发明专利]一种构建基于MapReduce的动态脚本执行引擎的方法

说明书

技术领域

本发明涉及系统开发技术领域，特别涉及一种构建基于MapReduce的动态脚本执行引擎的方法。

背景技术

利用Apache Hadoop的MapReduce（一种大规模数据编程模型）框架能够将一个作业分发到分布式系统中多进程中。多任务的执行 ，大大提高对大任务的处理能力和执行效率。目前其主要的开发方法分为以下两种:

1. 利用Hadoop自身提供的API开发，这个过程是MapReduce开发的最基本流程。将开发流程分为三个基本的部分，任务设置提交阶段（Main）、Map执行阶段和Reduce执行阶段。以上三个部分缺一不可。以上三个部分开发完成后还要进行三个步骤：编译、打包和上传到客户机执行。如果遇到三个部分的其中一个阶段出现执行异常，那么还要再次编译，打包，上传客户机执行，其过程比较繁琐。其次 Hadoop 发布的 API 经过不同的分支版本间迭代，各个包中的方法在不同版本中的使用方法差异较大，对开发人员要求较高。

2. 利用Hadoop Streaming框架允许任何程序语言实现的程序在Hadoop MapReduce中使用，方便已有程序向Hadoop平台移植。Hadoop Streaming的原理是用Java实现一个包装用户程序的MapReduce程序，该程序负责调用MapReduce Java接口获取key/value对输入。创建一个新的进程启动包装的用户程序，将数据通过管道传递给包装的用户程序处理，然后调用MapReduce Java接口将用户程序的输出切分成key/value对输出。 只要按照标准输入输出格式进行编程，就可以满足Hadoop MapReduce的要求。因此单机程序稍加改动就可以在集群上进行使用。但Hadoop Streaming 有使用的局限性，其一：只能处理文本数据，无法设置数据格式。其二：Streaming的Mapper 和Reducer阶段都只能向标准输出写数据，不能设置多路输出。其三：Streaming的多路输入不能设置用不同的Mapper执行。

发明内容

为了解决上述技术问题，本发明提供一种构建基于MapReduce的动态脚本执行引擎的方法，该方法中基于MapReduce的动态脚本引擎功能是将MapReduce开发过程中的三个阶段按照一个规范在一个简单的脚本中完成。并且不需要编译，打包，直接在客户机的VI编辑器下就能完成开发和任务的提交执行。并克服了Hadoop Streaming的不足之处，能够灵活的自定义数据格式，自定义输入和输出，自定义输入对应执行的Mapper。

本发明公开的一种构建基于MapReduce的动态脚本执行引擎的方法，该方法包括以下步骤：

定义MapReduce中的Map执行阶段和Reduce执行阶段为相同框架的子类；

在作业配置阶段、Map执行阶段和Reduce执行阶段分别添加脚本动态编译和执行的过程，并将任务执行的各个步骤定义成闭包；

通过Shell命令启动并读取脚本并执行相应阶段的任务。

进一步的，所述Map执行阶段的过程包括：

调用setup初始化资源；

根据数据的行数循环调用map进行数据的处理；

通过cleanup进行资源的释放。

进一步的，所述Reduce执行阶段的执行过程包括：

调用setup初始化资源；

根据Shuffle和排序阶段处理后的key/values的个数循环调用reduce进行数据的处理；

通过 cleanup进行资源的释放。

进一步的，所述闭包用于传递参数，是一种可以事先定义，并在需要时执行的代码块或对象，且在定义的过程中，闭包可使用一个或者多个输入参数进行定义。

进一步的，所述闭包定义规范如下：

（1）定义任务的设置和提交；

（2）定义Map执行阶段中的setup，初始化Map执行阶段的资源；

（3）定义Map执行阶段中的cleanup ，清理Map执行阶段申请的资源；

（4）定义 Map执行阶段的执行过程；

（5）定义Reduce执行阶段的setup，初始化Reduce执行阶段的资源；

（6）定义Reduce执行阶段的cleanup，清理Reduce执行阶段的资源；

（7）定义Reduce执行阶段的执行过程。

进一步的，所述通过Shell命令启动并读取脚本并执行相应阶段的任务具体包括：