[发明专利]一种基于Web的通用Spark任务提交系统及方法

说明书

本发明公开一种基于Web的通用Spark任务提交系统及方法，该系统包括Web界面模块、提交服务模块、Spark任务上传模块、数据库；Web界面模块用于页面展示以及与数据库数据交互，将用户配置的Spark任务提交信息保存至数据库，以及数据库中的任务处理监控信息进行展示；提交服务模块与数据库数据交互，读取存储在数据库中的Spark任务提交信息并生成提交命令；Spark任务上传模块与提交服务模块、数据库数据交互，在获取提交命令命令后，读取Spark任务提交信息并生成对应的Spark任务的jar包上传至Spark集群，同时将任务处理监控信息保存至数据库。开发者可以不用编写代码和提交任务，只需要在Web上配置好对应的数据处理流程和任务运行参数，便可以自动在spark集群上提交改任务。

技术领域

本发明涉及数据处理技术领域，具体是一种基于Web的通用Spark任务提交系统及方法。

背景技术

Spark是加州大学伯克利分校AMP实验室(Algorithms,Machines,and PeopleLab)开发的通用内存并行计算框架，用于构建大型的、低延迟的数据分析应用程序，是一个开源集群运算框架，专为大规模数据处理而设计的快速通用的计算引擎，可用它来完成各种各样的运算，包括SQL查询、文本处理、机器学习等，可以在Standalone、Yarn、MeSOS(Spark几种常见的安装部署模式)等多种模式下运行。开发者需要按照spark特有的编程方式来接收数据、处理数据和输出数据，然后手动生成jar包提交到对应的spark集群，这样spark才会分配集群资源来运行这一次任务。

在上述背景下，开发人员需要为每一个任务单独写一个spark项目打成jar包提交到spark集群。spark项目的编程格式基本差不多，都是从输入源读取数据，经过rdd、dataFrame或者dataSet的转换，输出新的生成数据，然后手动生成jar包提交到spark集群。随着项目的增多，会有大量的重复代码以及花费大量的时间生成jar包和提交任务，增大开发成本。

发明内容

针对现有技术中需要为每一个任务单独写一个spark项目打成jar包提交到spark集群而增加了开发成本的问题，本发明提供一种基于Web的通用Spark任务提交系统及方法，适用于大部分数据处理任务，开发者可以不用编写代码和提交任务，只需要在Web上配置好对应的数据处理流程和任务运行参数，便可以自动在spark集群上提交改任务。

为实现上述目的，本发明提供一种基于Web的通用Spark任务提交系统，包括Web界面模块、提交服务模块、Spark任务上传模块、数据库，所述Web界面模块、提交服务模块、任务上传模块、数据库均设在Web服务器上；

所述Web界面模块用于页面展示以及与数据库之间进行数据交互，将用户在Web界面模块上的配置的Spark任务提交信息保存至数据库，以及数据库中的任务处理监控信息进行展示；

所述提交服务模块与数据库之间进行数据交互，读取存储在数据库中的Spark任务提交信息并生成提交命令；

所述Spark任务上传模块与提交服务模块、数据库之间进行数据交互，Spark任务上传模块在获取提交命令命令后，读取数据库中的Spark任务提交信息并生成对应的Spark任务的jar包上传至Spark集群进行任务处理，同时将任务处理监控信息保存至数据库。

作为上述技术方案的进一步改进，所述Spark任务提交信息包括任务数据源、任务流程、任务输出源与任务提交参数。

作为上述技术方案的进一步改进，所述任务流程包括但不限于过滤、分割、拼接中的至少一种。

作为上述技术方案的进一步改进，所述任务处理监控信息包括但不限于任务是否成功启动、耗费内存、剩余内存、运行时长与耗费的cpu核数。

为实现上述目的，本发明还提供一种基于Web的通用Spark任务提交方法，其特征在于，包括如下步骤：