[发明专利]数据处理方法、装置、电子设备及可读存储介质

说明书

本申请实施例提供了一种数据处理方法、装置、电子设备及可读存储介质。该方法由终端设备执行，该方法包括：获取数据处理请求，数据处理请求中包括待执行代码文件；加载待执行代码文件所对应的Spark任务执行文件；通过运行Spark任务执行文件，生成待执行代码文件对应的Spark对象；启动Spark对象对应的线程，通过线程将待执行代码文件中的待执行代码发送至Spark集群，以使Spark集群运行待执行代码，并返回运行待执行代码的运行结果。在本申请实施例中，在获取到待执行代码时，只需设置核心处理逻辑即可在终端设备中将待执行代码发送至Spark集群，简化了运行待执行代码的流程，还提高了灵活性和扩展性。

技术领域

本申请涉及计算机技术领域，具体而言，本申请涉及一种数据处理方法、装置、电子设备及可读存储介质。

背景技术

如图1所示，现有技术中在使用NiFi工具执行Spark任务时，需要启动额外的livy服务器(图中的Livy服务器)将Spark任务提交到Spark集群中运行，具体可以包括：NiFi处理器在获取到待执行代码后，通过http(HyperText Transfer Protocol，超文本传输协议)请求方式将待执行代码发送到livy服务器，然后由livy服务器将执行代码提交到Spark集群中运行，Spark集群运行待执行代码后将运行结果返回至NiFi中。

但是，在这过程中需要额外安装配置livy服务器，进而在使用NiFi执行Spark任务时便增加了使用的复杂度、降低了处理效率，并且在扩展灵活性等方面不够灵活。

发明内容

本申请的目的旨在至少能解决上述的技术缺陷之一。

一方面，本申请实施例提供了一种数据处理方法，该方法由终端设备执行，该方法包括：

获取数据处理请求，数据处理请求中包括待执行代码文件；

加载待执行代码文件所对应的Spark任务执行文件；

通过运行Spark任务执行文件，生成待执行代码文件对应的Spark对象；

启动Spark对象对应的线程，通过线程将待执行代码文件中的待执行代码发送至Spark集群，以使Spark集群运行待执行代码，并返回运行待执行代码的运行结果。

另一方面，本申请实施例提供了一种数据处理装置，该装置包括：

处理请求获取模块，用于获取数据处理请求，数据处理请求中包括待执行代码文件；

文件加载模块，用于加载待执行代码文件所对应的Spark任务执行文件；

对象生成模块，用于通过运行Spark任务执行文件，生成待执行代码对应的Spark对象；

代码发送模块，用于启动Spark对象对应的线程，通过线程将待执行代码发送至Spark集群，以使Spark集群运行待执行代码文件，并返回运行待执行代码文件的运行结果。

又一方面，本申请实施例提供了一种电子设备，包括处理器以及存储器：存储器被配置用于存储计算机程序，计算机程序在由处理器执行时，使得处理器执行上述各方面中的各方法。

再一方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质用于存储计算机程序，当计算机程序在计算机上运行时，使得计算机可以执行上述各方面中的各方法。

本申请实施例提供的技术方案带来的有益效果是：