[发明专利]一种动态spark任务生成并执行的方法

说明书

本发明公开一种动态spark任务生成并执行的方法，包括如下步骤：用户向服务验证模块发起任务创建请求；服务验证模块将任务创建请求分发给动态任务生成服务；动态任务生成服务获取任务模板并填充参数生成Python脚本，并将Python脚本存储到hdfs；hdfs将生成的脚本文件名和hdfs路径返回给动态任务生成服务；动态任务生成服务获取hdfs中的Python脚本并提交集群执行；集群获取任务执行状态并返回给动态任务生成服务；动态任务生成服务将任务执行结果返回给用户。本发明只要提供数据源和数据清洗条件即可自动生成spark执行脚本并提交集群执行，实现web交互式开发和任务的动态生成，可用性高。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种动态spark任务生成并执行的方法。

背景技术

大数据开发过程中，开发者很多时候是将spark任务用scala编写完毕后，再打包成jar并提交到集群运行。这种大数据开发方式是常见和有效的，但是每一次有新的spark任务，开发者都需要重新编写scala程序并打包提交到集群，这个过程是繁琐的，任务的生成依旧需要开发者编写代码，需要懂得大数据相关技术，也需要用户去维护大数据相关组件，对于不关心大数据如何执行，只期望获取有价值数据的团队，无疑是一种负担。因此，有必要提供一种动态spark任务生成并执行的方法，用户只需要提供数据数据源以及数据清洗的条件，即可自动生成spark执行脚本并提交到集群执行，使得用户不用再关心spark任务的生成，也不需要了解大数据相关知识。

发明内容

本发明的目的是克服现有技术的不足，提供一种动态spark任务生成并执行的方法。

本发明的技术方案如下：

一种动态spark任务生成并执行的方法，包括如下步骤：

S1，用户向服务验证模块发起spark任务创建请求，将目标数据源和数据处理规则参数传递给所述服务验证模块；

S2，所述服务验证模块接收到用户发送来的spark任务创建请求后，将所述spark任务创建请求分发给动态任务生成服务；

S3，所述动态任务生成服务接收到所述服务验证模块发送来的spark任务创建请求后，根据所述数据处理规则参数获取spark任务模板并填充参数生成Python脚本，并将生成的Python脚本存储到hdfs；

S4，hdfs将生成的Python脚本的脚本文件名和hdfs路径返回给所述动态任务生成服务；

S5，所述动态任务生成服务获取hdfs中的Python脚本，并将获取的Python脚本提交给集群进行执行；

S6，所述集群获取任务执行状态，并将获取的任务执行状态返回给所述动态任务生成服务；

S7，所述动态任务生成服务将任务执行结果返回给发送请求的用户。

进一步地，所述动态任务生成服务存储有若干用于生成Python代码的代码片段，所述动态任务生成服务根据从所述服务验证模块中读取到的数据处理规则参数填充所述代码片段来生成可执行的Python代码，并根据所述数据处理规则参数对所有的Python代码进行筛选、组合来生成包含spark任务的Python脚本，并将生成的Python脚本存储到hdfs。

进一步地，所述目标数据源包含用于供所述动态任务生成服务连接数据库的数据库连接资源和用于供所述动态任务生成服务登录与之连接的数据库的数据库认证信息；所述动态任务生成服务通过从所述服务验证模块中读取到的目标数据源连接数据库，并从该数据库中获取数据来对用户存储在数据库中的数据进行离线的计算清洗。

进一步地，所述服务验证模块为网关，所述服务验证模块用于实现权限验证与负载均衡；如果发起请求的用户没有权限，则该用户发起的请求会被服务验证模块拦截，从而通过服务验证模块起到一个安全拦截以及流量分发的作用。