[发明专利]任务处理并行度的弹性调整方法及装置

说明书

本说明书提供一种任务处理并行度的弹性调整方法及装置。所述方法包括：在任务执行器针对数据源的分片存储数据进行处理的过程中，获取所述任务执行器反馈的延时信息；将所述延时信息与预设的正常延时阈值范围进行比较；在比较结果表明所述任务执行器的延时未落入所述正常延时阈值范围的情况下，调整所述任务执行器针对所述分片存储数据进行处理的并行度。

技术领域

本说明书一个或多个实施例涉及实时计算技术领域，尤其涉及一种任务处理并行度的弹性调整方法及装置。

背景技术

云计算领域中的实时计算是一种通用服务，其客户数量较大，并且客户的使用场景复杂，解决的问题种类繁多，导致不同作业的计算复杂度差别较大，其中Flink、KafkaStreaming和Rocketmq Streaming是应用较为广泛的传统实时计算系统。

在相关技术中，基于上述传统实时计算系统提供实时计算服务时，需要提前预估数据吞吐量，根据预估数据吞吐量来确定数据分片存储时的分片数，并将分片数与任务执行器中的任务处理的并行度绑定。但在实际数据量远超预估吞吐量时，因并行度的限制无法及时处理数据而造成数据处理的延时，在实际数据量低于预估吞吐量时，虽然不存在延时但难免会造成任务执行器资源的浪费。

发明内容

有鉴于此，本说明书一个或多个实施例提供一种任务处理并行度的弹性调整方法及装置。

为实现上述目的，本说明书一个或多个实施例提供技术方案如下：

根据本说明书一个或多个实施例的第一方面，提出了一种任务处理并行度的弹性调整方法，所述方法包括：

在任务执行器针对数据源的分片存储数据进行处理的过程中，获取所述任务执行器反馈的延时信息；

将所述延时信息与预设的正常延时阈值范围进行比较；

在比较结果表明所述任务执行器的延时未落入所述正常延时阈值范围的情况下，调整所述任务执行器针对所述分片存储数据进行处理的并行度。

根据本说明书一个或多个实施例的第二方面，提出了一种任务处理并行度的弹性调整装置，所述装置包括：

获取单元，用于在任务执行器针对数据源的分片存储数据进行处理的过程中，获取所述任务执行器反馈的延时信息；

比较单元，用于将所述延时信息与预设的正常延时阈值范围进行比较；

调整单元，在比较结果表明所述任务执行器的延时未落入所述正常延时阈值范围的情况下，调整所述任务执行器针对所述分片存储数据进行处理的并行度。

根据本说明书一个或多个实施例的第三方面，提出了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现第一方面所述方法的步骤。

根据本说明书一个或多个实施例的第四方面，提出了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面所述方法的步骤。

附图说明

为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1是本说明书一示例性实施例提供的一种实时计算系统的系统架构图；

图2是本说明书一示例性实施例提供的一种任务处理并行度的弹性调整方法的流程图；

图3是本说明书一示例性实施例提供的一种实时计算系统调度任务处理并行度的示意图；

图4是本说明书一示例性实施例提供的一种电子设备的示意结构图；