[发明专利]任务执行方法与装置、电子设备、存储介质

权利要求书

1.一种基于Spark的任务执行方法，其特征在于，所述方法包括：

在Spark系统中执行循环过程，直至目标任务的执行状态为执行成功；其中，所述循环过程包括：

在当前执行器中执行所述目标任务，并获取所述目标任务的执行状态；

当确定所述执行状态属于执行失败，且确定失败原因属于内存溢出时，重新创建执行器，并动态扩展重新创建的执行器的内存；其中，动态扩展重新创建的执行器内存，包括：获取所述当前执行器的内存、所述执行状态属于执行失败的次数以及用户对扩展参数配置的参数值；根据所述当前执行器的内存、所述执行状态属于执行失败的次数以及所述参数值，扩展重新创建的执行器的内存；

将所述重新创建的执行器作为所述当前执行器以执行所述目标任务。

2.根据权利要求1所述的方法，其特征在于，在确定所述执行状态属于执行失败之后，且在确定失败原因属于内存溢出之前，所述方法还包括：

判断所述执行状态属于执行失败的次数是否大于预设次数；

当所述执行状态属于执行失败的次数不大于所述预设次数时，获取失败原因；

当所述执行状态属于执行失败的次数大于所述预设次数时，确定所述目标任务执行失败。

3.根据权利要求1所述的方法，其特征在于，所述根据当前执行器的内存、所述执行状态属于执行失败的次数以及所述参数值，扩展重新创建的执行器的内存，包括：

将当前执行器的内存、所述执行状态属于执行失败的次数以及所述参数值的乘积，与当前执行器的内存之和作为重新创建的执行器的内存。

4.根据权利要求1所述的方法，其特征在于，所述参数值和所述当前执行器的内存呈负相关。

5.根据权利要求1所述的方法，其特征在于，在将重新创建的执行器作为所述当前执行器以执行所述目标任务之前，所述方法还包括：

将所述目标任务的执行状态修改为等待执行，并将所述目标任务添加至任务队列中。

6.一种基于Spark的任务执行装置，其特征在于，所述装置包括：

任务执行模块，用于在Spark系统中执行循环过程，直至目标任务的执行状态为执行成功；其中，所述循环过程包括：

在当前执行器中执行所述目标任务，并获取所述目标任务的执行状态；

当确定所述执行状态属于执行失败，且确定失败原因属于内存溢出时，重新创建执行器，并动态扩展重新创建的执行器的内存；其中，动态扩展重新创建的执行器内存，包括：获取所述当前执行器的内存、所述执行状态属于执行失败的次数以及用户对扩展参数配置的参数值；根据所述当前执行器的内存、所述执行状态属于执行失败的次数以及所述参数值，扩展重新创建的执行器的内存；

将所述重新创建的执行器作为所述当前执行器以执行所述目标任务。

7.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1~5任一项所述的方法。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1~5任一项所述的方法。