[发明专利]基于MapReduce 计算模型的任务封装方法及装置

权利要求书

1.一种基于MapReduce计算模型的任务封装方法，其特征在于，包括如下步骤：

S1，任务引擎获取输入程序，判断所述输入程序是否为MapReduce计算模型支持的Java编译程序，若是，则执行步骤S2；若否，则执行步骤S4；

S2，使用Java标准打包器将Java编译程序封装成Jar格式文件；

S3，将Jar格式文件的位置信息传递给MapReduce计算模型中运行的壳任务；

S4，判断所述输入程序是否为流作业类型的程序，若是，执行步骤S5；若否，则执行步骤S6；

S5，将流作业类型的程序作为流作业类型的任务，并将流作业类型的任务信息传递给MapReduce计算模型中运行的壳任务；

S6，将所述输入程序封装为流作业类型的任务，将流作业类型的任务信息传递给MapReduce计算模型中运行的壳任务。

2.根据权利要求1所述的任务封装方法，其特征在于，在所述步骤S1中，判断所述任务是否为MapReduce计算模型支持的Java编译程序，包括如下步骤：

S101，按照MapReduce计算模型定义的接口标准，对所述输入程序进行测试，如果返回正常数据，则确定所述输入程序是MapReduce计算模型支持的Java编译程序；否则，确定所述任务类型不是MapReduce计算模型支持的Java程序编译文件。

3.根据权利要求1或2所述的任务封装方法，其特征在于，在所述步骤S6中，将所述输入程序封装为流作业类型的任务，包括如下步骤：

S601，将所述输入程序保存到分布式计算系统，并将所述输入程序启动信息传递给所述壳任务，将所述输入程序和启动信息作为流作业类型的任务，所述壳任务调用该流作业类型的任务时，通过调用该流作业类型任务的所述启动信息来执行输入程序。

4.根据权利要求1-3任一所述的任务封装方法，其特征在于，所述流作业类型，包括Linux环境下的可执行程序。

5.根据权利要求4所述的任务封装方法，其特征在于，所述Linux环境下的可执行程序包括Linux外壳程序、Python或Per l脚本程序、计算机程序经编译后输出的可执行文件。

6.根据权利要求3所述的任务封装方法，其特征在于，所述流作业类型的任务的启动信息包括所述流作业类型的任务的调用命令信息。

7.一种基于MapReduce计算模型的任务封装装置，其特征在于，包括第一判断模块、打包模块、第一传递模块、第二判断模块、第二传递模块和封装模块；

其中，

所述第一判断模块，用于获取输入程序，判断所述输入程序是否为MapReduce计算模型支持的Java编译程序；

所述打包模块，用于当所述输入程序为MapReduce计算模型支持的Java编译程序时，将所述输入打包为Java作业类型的任务，即使用Java标准打包器将Java编译程序封装成Jar格式文件；

所述第一传递模块，用于将所述Java作业类型的任务信息传递给MapReduce计算模型中运行的壳任务；

所述第二判断模块，用于判断所述输入程序是否为流作业类型的程序；

所述第二传递模块，用于将所述流作业类型的任务信息传递给MapReduce计算模型中运行的壳任务；

所述封装模块，用于将所述输入程序封装为流作业类型的任务，将流作业类型的任务信息传递给MapReduce计算模型。

8.根据权利要求7所述的任务封装装置，其特征在于，所述第一判断模块包括测试子模块；

其中，

所述测试子模块，用于按照MapReduce计算模型定义的接口标准，对所述输入程序进行测试。

9.根据权利要求7或8所述的任务封装装置，其特征在于，所述封装模块，包括传递子模块；

其中，

所述传递子模块，用于将所述流作业类型的任务保存到分布式计算系统，并将所述流作业类型的任务启动信息传递给所述壳任务。

10.根据权利要求7-9任一所述的任务封装装置，其特征在于，所述流作业类型，包括Linux环境下的可执行程序。