[发明专利]基于可视化界面快速生成分布式批处理任务的方法和装置

说明书

本发明实施例涉及数据处理的技术领域，公开了一种基于可视化界面快速生成分布式批处理任务的方法和装置。该方法包括：接收使用者在可视化界面填写的配置信息，配置信息包括spark配置信息、Input配置信息、transform配置信息以及Output配置信息；将配置信息组织成配置文件，并存入存储介质中；接收使用者的任务启动请求，调取配置文件，并将配置文件传入后台的执行引擎中，由执行引擎解析配置文件信息，生成spark任务，调度执行批处理任务。实施本发明实施例，可以通过可视化界面填写配置信息，自动生成配置文件，通过执行引擎解析配置文件并调度执行批处理操作，加速批处理任务的构建和处理。

技术领域

本发明涉及数据处理技术领域，具体涉及一种基于可视化界面快速生成分布式批处理任务的方法和装置。

背景技术

现有的数据的批处理任务的构建都需要编写代码完成，例如可以通过Waterdrop等实现，由于Waterdrop的配置文件是conf文件，没法动态赋值，所以每次使用时，需要改写配置文件，使配置文件与待批处理任务相适配。这种方式需要特别专业的软件技术人员才能完成，而且，此编译过程相对复杂，需要花费大量的人力成本才能达到要求，效率低下。

发明内容

针对所述缺陷，本发明实施例公开了一种基于可视化界面快速生成分布式批处理任务的方法和装置，其通过可视化界面填写配置信息，自动生成配置文件，通过执行引擎解析配置文件并调度执行批处理操作，加速批处理任务的构建和处理。

本发明实施例第一方面公开一种基于可视化界面快速生成分布式批处理任务的方法，其包括：

接收使用者在可视化界面填写的配置信息，所述配置信息包括spark配置信息、Input配置信息、transform配置信息以及Output配置信息；

将所述配置信息组织成配置文件，并存入存储介质中；

接收使用者的任务启动请求，调取所述配置文件，并将所述配置文件传入后台的执行引擎中，由所述执行引擎解析所述配置文件信息，生成spark任务，调度执行批处理任务。

作为较佳的实施例，在本发明实施例的第一方面中，所述可视化界面为web页面。

作为较佳的实施例，在本发明实施例的第一方面中，所述spark配置信息包括spark-app的名称、调度平台以及资源；所述Input配置信息包括数据源的信息和读取数据时的配置信息；所述transform配置信息包括配置SQL和临时表的名称，所述SQL和临时表设置为一组或多组；所述Output配置信息包括数据落信息和落地库的配置信息。

作为较佳的实施例，在本发明实施例的第一方面中，接收使用者的任务启动请求，调取所述配置文件，并将所述配置文件传入后台的执行引擎中，由所述执行引擎解析所述配置文件信息，生成spark任务，调度执行批处理任务，包括：

所述可视化界面的管理界面接收使用者在所述管理界面操作产生的任务启动请求；

基于所述任务请求，通过所述管理界面调取所述配置文件，并将调取的配置文件传送到后台的执行引擎中；

执行引擎解析所述配置信息，生成spark任务，并将所述spark任务发送至所述调度平台，通过所述调度平台基于所述Input配置信息和transform配置信息调度执行批处理任务，并将批处理结果存储于Output对应的配置信息。

作为较佳的实施例，在本发明实施例的第一方面中，所述执行引擎为java代码，通过脚本java–jar的形式启动。

本发明实施例第二方面公开一种基于可视化界面快速生成分布式批处理任务的装置，包括：

接收单元，用于接收使用者在可视化界面填写的配置信息，所述配置信息包括spark配置信息、Input配置信息、transform配置信息以及Output配置信息；