[发明专利]一种流任务实现方法、装置及电子设备

说明书

本发明实施例提供了一种流任务实现方法、装置及电子设备，所述方法包括：在多个机房预先部署的逻辑相同的多个流任务中选择一个流任务作为master流任务，并将所述多个流任务中除所述master流任务之外的其他流任务作为follower流任务；控制所述master流任务对应的机房执行所述master流任务；当检测到所述master流任务在执行过程中出现异常时，在所述follower流任务中选择一个流任务作为当前master流任务；并控制所述当前master流任务对应的机房执行所述当前master流任务。本发明实施例可以在运行流任务的集群出现故障时，保证流任务的正常运行。

技术领域

本发明涉及计算机技术领域，特别是涉及一种流任务实现方法、装置及电子设备。

背景技术

分布式实时流任务框架，例如Spark Streaming、Flink、Storm等均可实现大规模的实时流数据处理。在实现实时流数据处理时，当某台机器或者某几台机器出现错误宕机后，分布式实时流任务框架会将出现错误的机器上的任务重新调度到正常的机器上运行，以保证流任务的正常运行。

然而，发明人在实现本发明的过程中发现，现有技术至少存在如下问题：现有的分布式实时流任务框架无法处理运行流任务的整个集群不可用的情况，例如：1、运行流任务的集群出现异常或者需要停机维护；2.流任务框本身错误导致运行流任务的集群不可用；3.运行流任务的集群所在的机房网络异常等。当运行流任务的集群出现这些问题时，分布式实时流任务框架是不可用的。

发明内容

本发明实施例的目的在于提供一种流任务实现方法、装置及电子设备，以在运行流任务的集群出现故障时，保证流任务的正常运行。具体技术方案如下：

为达到上述目的，第一方面，本发明实施例公开了一种流任务实现方法，该方法包括：

在多个机房预先部署的逻辑相同的多个流任务中选择一个流任务作为master流任务，并将所述多个流任务中除所述master流任务之外的其他流任务作为follower流任务；

控制所述master流任务对应的机房执行所述master流任务；

当检测到所述master流任务在执行过程中出现异常时，在所述follower流任务中选择一个流任务作为当前master流任务；

控制所述当前master流任务对应的机房执行所述当前master流任务。

可选地，上述方法还包括：

在所述master流任务对应的机房执行所述master流任务过程中，控制所述master流任务对应的机房按照预设时间间隔将所述master流任务的执行状态存储至外部数据库或文件系统；

所述控制所述当前master流任务对应的机房执行所述当前master流任务，包括：

控制所述当前master流任务对应的机房从所述外部数据库或文件系统读取所述master流任务的执行状态，并将所述当前master流任务的状态恢复至所述执行状态，执行状态恢复后的所述当前master流任务。

可选地，上述方法还包括：

在所述当前master流任务对应的机房执行所述当前master流任务过程中，控制所述当前master流任务对应的机房按照预设时间间隔将所述当前master流任务的执行状态存储至外部数据库或文件系统。

可选地，所述在所述follower流任务中选择一个流任务作为当前master流任务的步骤之后，上述方法还包括：

当检测到所述master流任务恢复正常后，将恢复正常的所述master流任务作为follower流任务。