[发明专利]一种基于Web的通用Spark任务提交系统及方法

权利要求书

1.一种基于Web的通用Spark任务提交系统，其特征在于，包括Web界面模块、提交服务模块、Spark任务上传模块、数据库，所述Web界面模块、提交服务模块、任务上传模块、数据库均设在Web服务器上；

所述Web界面模块用于页面展示以及与数据库之间进行数据交互，将用户在Web界面模块上的配置的Spark任务提交信息保存至数据库，以及数据库中的任务处理监控信息进行展示；

所述提交服务模块与数据库之间进行数据交互，读取存储在数据库中的Spark任务提交信息并生成提交命令；

所述Spark任务上传模块与提交服务模块、数据库之间进行数据交互，Spark任务上传模块在获取提交命令命令后，读取数据库中的Spark任务提交信息并生成对应的Spark任务的jar包上传至Spark集群进行任务处理，同时将任务处理监控信息保存至数据库。

2.根据权利要求1所述基于Web的通用Spark任务提交系统，其特征在于，所述Spark任务提交信息包括任务数据源、任务流程、任务输出源与任务提交参数。

3.根据权利要求2所述基于Web的通用Spark任务提交系统，其特征在于，所述任务流程包括但不限于过滤、分割、拼接中的至少一种。

4.根据权利要求1所述基于Web的通用Spark任务提交系统，其特征在于，所述任务处理监控信息包括但不限于任务是否成功启动、耗费内存、剩余内存、运行时长与耗费的cpu核数。

5.一种基于Web的通用Spark任务提交方法，其特征在于，包括如下步骤：

步骤1，在Web界面模块的页面上编辑Spark任务提交信息，并将Spark任务提交信息保存至数据库；

步骤2，编写一个spark项目，并确定一个主类作为spark任务的入口，给该主类传入一个与步骤1中Spark任务提交信息相关联的任务ID；

步骤3，基于任务ID查找数据中对应的Spark任务提交信息，在spark项目按照Spark任务提交信息生成对用的数据处理逻辑后，将spark项目打成jar包保存至Web服务器；

步骤4，提交服务模块基于Spark任务提交信息与任务ID生成提交命令；

步骤5，Spark任务上传模块在获取提交服务模块发出的提交命令后将步骤3中的jar包上传至Spark集群进行任务处理，同时获取对应的任务处理监控信息，并将任务处理监控信息保存至数据库；

步骤6，Web界面模块读取数据库中的任务处理监控信息，生成可视化图表并展示在Web界面模块的页面上。

6.根据权利要求5所述基于Web的通用Spark任务提交方法，其特征在于，步骤1中，所述Spark任务提交信息包括任务数据源、任务流程、任务输出源与任务提交参数。

7.根据权利要求5所述基于Web的通用Spark任务提交方法，其特征在于，步骤3中，在编写spark项目的过程中，在spark项目的主类的main方法中编写一个定时监控线程，将sparkContext传入该线程，用于获取任务处理监控信息，最后将任务处理监控信息保存至数据库。