[发明专利]数据跑批系统、方法、电子设备和存储介质

说明书

本申请涉及一种数据跑批系统、方法、电子设备和存储介质，应用于数据处理技术领域，其中，系统包括：调度中心集群，用于在跑批任务被触发后，从存储层获取跑批任务对应的任务数据，将任务数据拆分为多个任务分片，并将任务分片保存至消息队列；消息队列，用于存放任务分片；工作节点集群包括至少一个工作节点，各工作节点用于拉取消息队列中的任务分片，并调用预设的业务接口执行任务分片。解决现有技术中，大批量任务执行时采用单线程执行，导致任务执行速度较慢，任务执行时间较长、效率低；并且，若节点发生故障，会影响该节点下所有任务的执行，该节点上所执行的任务也会全部失败，造成了系统资源浪费的问题。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种数据跑批系统、方法、电子设备和存储介质。

背景技术

目前，涉及大批量数据处理时，主要采用单机部署处理的方式。随着业务的发展，数据规模的增大，单机部署的跑批方案存在以下问题：

大批量任务执行时采用单线程执行，导致任务执行速度较慢，任务执行时间较长、效率低；并且，若节点发生故障，会影响该节点下所有任务的执行，该节点上所执行的任务也会全部失败，造成了系统资源的浪费。

发明内容

本申请提供了一种数据跑批系统、方法、电子设备和存储介质，用以解决现有技术中，大批量任务执行时采用单线程执行，导致任务执行速度较慢，任务执行时间较长、效率低；并且，若节点发生故障，会影响该节点下所有任务的执行，该节点上所执行的任务也会全部失败，造成了系统资源浪费的问题。

第一方面，本申请实施例提供了一种数据跑批系统，包括：

存储层、调度中心集群、消息队列和工作节点集群；

所述调度中心集群，用于在跑批任务被触发后，从所述存储层获取所述跑批任务对应的任务数据，将所述任务数据拆分为多个任务分片，并将所述任务分片保存至所述消息队列；

所述消息队列，用于存放所述任务分片；

所述工作节点集群包括至少一个工作节点，各所述工作节点用于拉取所述消息队列中的所述任务分片，并调用预设的业务接口执行所述任务分片。

可选的，所述工作节点，还用于：

在所述调用预设的业务接口执行所述任务分片之前，检测所述任务分片的执行是否超时或中断；

若是，终止对所述任务分片的执行。

可选的，所述工作节点，还用于：

终止对所述任务分片的执行之后，记录所述任务分片的执行状态数据，并将所述执行状态数据保存至所述存储层。

可选的，所述存储层包括第一存储器和第二存储器，

所述第一存储器用于存储所述任务数据；

所述第二存储器用于存储所述执行状态数据。

可选的，所述执行状态数据包括执行失败信息和执行成功信息；

所述调度中心集群，还用于从所述存储层获取重试任务分片，并将所述重试任务分片重新发送至所述消息队列，所述重试任务分片为所述执行失败信息对应的任务分片；

所述工作节点，还用于从所述消息队列中，拉取所述重试任务分片，并调用所述预设的业务接口执行所述重试任务分片。

可选的，所述任务数据包括所述任务数据的主键信息；

所述工作节点，用于根据所述主键信息，判断所述重试任务分片中的任务数据是否需要重试，得到判断结果；

若所述判断结果为否，调用所述预设的业务接口执行所述主键信息对应的任务数据；