[发明专利]数据处理方法、装置、电子设备及可读存储介质

权利要求书

1.一种数据处理方法，其特征在于，所述方法由终端设备执行，所述方法包括：

获取数据处理请求，所述数据处理请求中包括待执行代码文件；

加载所述待执行代码文件所对应的Spark任务执行文件；

通过运行所述Spark任务执行文件，生成所述待执行代码文件对应的Spark对象；

启动所述Spark对象对应的线程，通过所述线程将所述待执行代码文件中的待执行代码发送至Spark集群，以使所述Spark集群运行所述待执行代码，并返回运行所述待执行代码的运行结果。

2.根据权利要求1所述的方法，其特征在于，所述加载所述待执行代码文件所对应的Spark任务执行文件，包括：

确定所述待执行代码文件的编程语言类型；

根据所述编程语言类型，加载所述编程语言类型对应的Spark任务执行文件。

3.根据权利要求2所述的方法，其特征在于，所述编程语言类型为Scala编程语言或python编程语言；

若所述编程语言类型为Scala编程语言，所述启动所述Spark对象对应的线程，通过所述线程将所述待执行代码文件中的待执行代码发送至Spark集群，包括：

通过所述线程创建对应于所述编程语言类型的解释器对象；

通过所述解释器对象，将所述待执行代码文件中的待执行代码发送至Spark集群。

4.根据权利要求3所述的方法，其特征在于，所述通过所述解释器对象，将所述待执行代码文件中的待执行代码发送至Spark集群，包括：

加载所述待执行代码文件中的待执行代码；

启动所述解释器对象，并通过所述解释器对象对加载的所述待执行代码进行编译，得到编译后的执行代码；

将所述编译后的执行代码发送至Spark集群。

5.根据权利要求4所述的方法，其特征在于，所述通过所述解释器对象对加载的所述待执行代码进行编译，得到编译后的执行代码之前，还包括：

将加载的所述待执行代码封装为可运行类；

所述通过所述解释器对象对加载的所述待执行代码进行编译，得到编译后的执行代码，包括：

通过所述解释器对象对所述可运行类进行编译，得到编译后的执行代码。

6.根据权利要求1至5任一项所述的方法，其特征在于，所述方法还包括：

接收查询请求，所述查询请求中包括待查询的执行代码的标识；

将所述运行结果查询请求发送至所述Spark集群；

接收所述Spark集群根据所述查询请求返回所述标识对应的运行结果；

展示所述运行结果。

7.根据权利要求1至5任一项所述的方法，其特征在于，所述终端设备包括基于NiFi的终端设备。

8.一种数据处理装置，其特征在于，所述装置包括：

处理请求获取模块，用于获取数据处理请求，所述数据处理请求中包括待执行代码文件；

文件加载模块，用于加载所述待执行代码文件所对应的Spark任务执行文件；

对象生成模块，用于通过运行所述Spark任务执行文件，生成所述待执行代码对应的Spark对象；

代码发送模块，用于启动所述Spark对象对应的线程，通过所述线程将所述待执行代码发送至Spark集群，以使所述Spark集群运行所述待执行代码文件，并返回运行所述待执行代码文件的运行结果。

9.根据权利要求8所述的装置，其特征在于，所述文件加载模块在加载所述待执行代码文件所对应的Spark任务执行文件时，具体用于：

确定所述待执行代码文件的编程语言类型；

根据所述编程语言类型，加载所述编程语言类型对应的Spark任务执行文件。