[发明专利]基于spark内核的任务执行方法、系统和计算机设备

说明书

本申请涉及一种基于spark内核的任务执行方法、系统、计算机设备，其中，该任务执行方法包括：任务流生成步骤，spark driver节点读取并根据一配置文件生成任务流；任务分配步骤，akka根据任务流分配任务；任务执行步骤，一调度器根据分配任务的信息将任务分发至对应的执行节点，并将执行结果发送至spark driver节点。通过将akka和spark的结合达到对etl的任务流并行执行以及对该任务流中每个任务并行执行，从而提高执行效率；以及通过配置文件的方式省去编写代码的成本，提高开发效率。

技术领域

本申请涉及大数据技术领域，特别是涉及基于spark内核的任务执行方法、系统、计算机设备。

背景技术

随着大数据云时代的到来，各行各业对数据的应用的需求越来越多，在数据应用中，对多元异构数据的同步和计算是数据应用的基础，如何在不同数据源间进行高效同步和快速开发etl成为行业面临的主要问题。

现有技术中一般通过编写mapreduce代码或spark代码进行etl开发。但是存在以下缺点：

1、不支持实时数据同步；

2、不支持集群部署，受限于单台服务器性能，速度慢，易发生内存溢出等；

3、不支持配置多任务；

4、任务失败无通知机制；

5、进行etl计算速度慢；

6、需要通过编写代码、打包项目部署，开发效率低，难度高。

目前针对相关技术中开发效率低的问题，尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种基于spark内核的任务执行方法、系统、计算机设备，通过设置配置文件降低了开发门槛，提高开发效率，降低维护成本，提升etl速度，提高系统的鲁棒性。

第一方面，本申请实施例提供了一种基于spark内核的任务执行方法，包括以下步骤：

任务流生成步骤，spark driver节点读取并根据一配置文件生成任务流；

任务分配步骤，akka根据所述任务流分配任务；

任务执行步骤，一调度器根据所述分配任务的信息将任务分发至对应的执行节点，并将执行结果发送至所述spark driver节点。

在其中一些实施例中，所述任务流生成步骤具体包括：

通过编写spark和akka代码，读取并解析所述配置文件生成dag图。

在其中一些实施例中，所述任务分配步骤具体包括：

遍历所述dag图的每一个任务并判断其状态，如果没有执行，则判断是否存在父节点任务，若有所述父节点任务则等待所述父节点任务执行成功，若无父节点任务或父节点任务全部已执行成功，则通过actor模型将该所述任务分发给executor进行执行。

在其中一些实施例中，所述任务执行步骤具体包括：

通过所述actor模型将所述执行结果发送至所述spark driver节点，所述sparkdriver节点接收并记录其状态；

当所述任务执行失败时，进行重试，当重试次数超过预设次数则判定所述任务失败并退出程序，输出报警信息；

当所述任务执行成功时，继续执行子节点任务，直至所述任务全部完成。

在其中一些实施例中，所述配置文件使用json格式定义数据源、同步数据格式和指定数据转换逻辑。