[发明专利]一种构建Hadoop应用开发框架的方法、装置及电子装置

权利要求书

1.一种构建Hadoop应用开发框架的方法，其特征在于，该方法包括：

分离命令行，得到用于设置配置模板文件的任务调度与任务参数，所述配置模板文件包含用于封装分离的调度任务的调度配置文件以及用于封装分离的任务参数的任务列表配置文件；

在调度配置文件中设置进行可视化编辑的任务调度顺序；

在任务列表配置文件中设置任务的可视化编辑任务参数，并构建调度配置文件中调度的任务与所述任务参数的映射关系；

设置用于对调度配置文件中的任务进行启动以及对任务列表配置文件进行合法性检测的任务参数检测文件，依据所述配置模板文件以及任务参数检测文件构建Hadoop应用开发框架；

所述任务参数检测文件包括：任务调度列表启动脚本子文件以及任务合法性检测子文件，其中，任务调度列表启动脚本子文件用于在用户在可视界面中设置好调度配置文件以及任务列表配置文件后，启动任务列表调度，调用任务合法性检测子文件，以使任务合法性检测子文件遍历任务调度列表中的任务，并依据遍历的任务，从用户设置的任务列表配置文件中获取该遍历的任务对应的任务参数，与任务合法性检测子文件中存储的该遍历的任务对应的任务参数进行匹配以执行合法性检测。

2.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：

在进行Hadoop应用开发时，加载构建的Hadoop应用开发框架，在所述调度配置文件对应的可视化编辑界面中设置调度任务集，并基于构建的所述映射关系，在调度任务映射的所述任务列表配置文件对应的可视化编辑界面中设置所述调度任务的任务参数；

调用所述任务参数检测文件启动所述调度任务集，依序提取所述调度任务集中每一任务在对应可视界面中设置的任务参数，依据所述任务参数检测文件中该每一任务对应的任务参数进行合法性检测，并将通过合法性检测的调度任务集上传以进行任务处理。

3.根据权利要求2所述的方法，其特征在于，所述依据所述任务参数检测文件中该每一任务对应的任务参数进行合法性检测包括：

如果所述调度任务集中任一任务对应的任务参数中的任一项参数的合法性检测未通过，确定所述调度任务集未通过合法性检测，如果所述调度任务集中所有任务对应的任务参数中的所有项分别通过合法性检测，确定所述调度任务集通过合法性检测。

4.根据权利要求3所述的方法，其特征在于，在所述任务集中任一任务对应的任务参数中的任一项参数的合法性检测未通过之后，确定所述调度任务集未通过合法性检测之前，所述方法进一步包括：

记录未通过合法性检测的任务的任务名以及具体的任务参数，将记录的信息向用户展示并提示用户修改记录的具体的任务参数，在接收到用户修改的具体的任务参数值后，再次进行合法性检测。

5.根据权利要求3所述的方法，其特征在于，所述方法进一步包括：

记录每一任务进行合法性检测的次数，如果记录的检测次数超过预先设置的次数阈值，退出所述调度任务集。

6.根据权利要求1所述的方法，其特征在于，所述任务调度包括：本地任务调度、串行MapReduce任务调度或并行MapReduce任务调度。

7.根据权利要求1所述的方法，其特征在于，所述任务调度顺序以任务调度列表方式进行描述。

8.根据权利要求1所述的方法，其特征在于，所述任务参数包括：任务名、任务输入路径、任务输出路径、Map任务命令行、Reduce任务命令行、需要上传的本地文件、任务参数配置文件、任务输入格式、任务输出格式以及分环到reduce的方法，其中，任务名、任务输入路径、任务输出路径、Map任务命令行及Reduce任务命令行为任务参数的必选项，需要上传的本地文件、任务参数配置文件、任务输入格式、任务输出格式以及分环到reduce的方法为任务参数的可选项。