[发明专利]基于可视化界面快速生成分布式批处理任务的方法和装置

权利要求书

1.一种基于可视化界面快速生成分布式批处理任务的方法，其特征在于，包括：

接收使用者在可视化界面填写的配置信息，所述配置信息包括spark配置信息、Input配置信息、transform配置信息以及Output配置信息；

将所述配置信息组织成配置文件，并存入存储介质中；

接收使用者的任务启动请求，调取所述配置文件，并将所述配置文件传入后台的执行引擎中，由所述执行引擎解析所述配置文件信息，生成spark任务，调度执行批处理任务。

2.根据权利要求1所述的基于可视化界面快速生成分布式批处理任务的方法，其特征在于，所述可视化界面为web页面。

3.根据权利要求1所述的基于可视化界面快速生成分布式批处理任务的方法，其特征在于，所述spark配置信息包括spark-app的名称、调度平台以及资源；所述Input配置信息包括数据源的信息和读取数据时的配置信息；所述transform配置信息包括配置SQL和临时表的名称，所述SQL和临时表设置为一组或多组；所述Output配置信息包括数据落信息和落地库的配置信息。

4.根据权利要求3所述的基于可视化界面快速生成分布式批处理任务的方法，其特征在于，接收使用者的任务启动请求，调取所述配置文件，并将所述配置文件传入后台的执行引擎中，由所述执行引擎解析所述配置文件信息，生成spark任务，调度执行批处理任务，包括：

所述可视化界面的管理界面接收使用者在所述管理界面操作产生的任务启动请求；

基于所述任务请求，通过所述管理界面调取所述配置文件，并将调取的配置文件传送到后台的执行引擎中；

执行引擎解析所述配置信息，生成spark任务，并将所述spark任务发送至所述调度平台，通过所述调度平台基于所述Input配置信息和transform配置信息调度执行批处理任务，并将批处理结果存储于Output对应的配置信息。

5.根据权利要求1-4任一项所述的基于可视化界面快速生成分布式批处理任务的方法，其特征在于，所述执行引擎为java代码，通过脚本java–jar的形式启动。

6.一种基于可视化界面快速生成分布式批处理任务的装置，其特征在于，包括：

接收单元，用于接收使用者在可视化界面填写的配置信息，所述配置信息包括spark配置信息、Input配置信息、transform配置信息以及Output配置信息；

组织单元，用于将所述配置信息组织成配置文件，并存入存储介质中；

处理单元，用于接收使用者的任务启动请求，调取所述配置文件，并将所述配置文件传入后台的执行引擎中，由所述执行引擎解析所述配置文件信息，生成spark任务，调度执行批处理任务。

7.根据权利要求6所述的基于可视化界面快速生成分布式批处理任务的装置，其特征在于，所述可视化界面为web页面。

8.根据权利要求6所述的基于可视化界面快速生成分布式批处理任务的装置，其特征在于，所述spark配置信息包括spark-app的名称、调度平台以及资源；所述Input配置信息包括数据源的信息和读取数据时的配置信息；所述transform配置信息包括配置SQL和临时表的名称，所述SQL和临时表设置为一组或多组；所述Output配置信息包括数据落信息和落地库的配置信息。