[发明专利]算子并发度调整方法、装置和设备

说明书

本说明书实施例公开了一种算子并发度调整方法、装置和设备。在一个实施例中，该方法应用于流计算系统中的控制节点，流计算系统包括控制节点和至少一个工作节点，工作节点上分布有至少一个算子，包括：接收工作节点上的算子的运行指标，运行指标用于表征算子的数据处理能力；基于算子的运行指标，确定需要进行并发度调整的目标算子的并发度调整策略；向目标工作节点发送并发度调整策略，以使目标工作节点调整目标算子的并发度，目标工作节点包括待新增目标算子所分布的工作节点和待停止目标算子所分布的工作节点中的至少一种。

技术领域

本说明书一个或读个实施例涉及数据处理领域，尤其涉及一种算子并发度调整方法、装置和设备。

背景技术

流计算是一种类似流水线式的数据处理模式，待处理的数据向流水一样连续不断的进入流计算系统。流计算系统实时获取来自不同数据源的海量数据，经过实时分析处理，获得有价值的信息。

在流计算系统中，流计算系统一般包括控制节点和至少一个工作节点，每个工作节点上分布有至少一个算子。算子是执行计算逻辑的最小单元，承载实际的数据处理操作。流计算系统中的业务数据处理逻辑通常以无回路有向图(Directed Acyclic Graph，DAG)进行表示，DAG用于指示多个算子之间的数据流走向。数据流用于表示算子之间的数据传输。在流计算系统中，可以配置算子的并发度，该并发度用于描述具有相同计算逻辑的算子协同运算时的并行程度。

在很多业务数据处理场景中，需要提高数据处理的实时性。例如在金融服务场景下，随着业务流量增长，初始的算子并发配置不足以支撑流量处理，这种情况下就需要调整算子的并发配置。目前多采用人工调整算子的并发配置，效率低下。

发明内容

本说明书一个或多个实施例提供一种算子并发度调整方法、装置和设备，能够实现对算子的并发度进行自动调整，提高了算子并发度调整的效率。

本说明书一个或多个实施例提供的技术方案如下：

第一方面，本说明书实施例提供一种算子并发度调整方法，应用于流计算系统中的控制节点，所述流计算系统包括所述控制节点和至少一个工作节点，所述工作节点上分布有至少一个算子，包括：

接收工作节点上的算子的运行指标，所述运行指标用于表征算子的数据处理能力；

基于算子的运行指标，确定需要进行并发度调整的目标算子的并发度调整策略；

向目标工作节点发送所述并发度调整策略，以使所述目标工作节点调整所述目标算子的并发度，所述目标工作节点包括待新增目标算子所分布的工作节点和待停止目标算子所分布的工作节点中的至少一种。

第二方面，本说明书实施例提供一种算子并发度调整装置，应用于流计算系统中的控制节点，所述流计算系统包括所述控制节点和至少一个工作节点，所述工作节点上分布有至少一个算子，包括：

运行指标接收模块，用于接收工作节点上的算子的运行指标，所述运行指标用于表征算子的数据处理能力；

并发度调整策略确定模块，用于基于算子的运行指标，确定需要进行并发度调整的目标算子的并发度调整策略；

发送模块，用于向目标工作节点发送所述并发度调整策略，以使所述目标工作节点调整所述目标算子的并发度，所述目标工作节点包括待新增目标算子所分布的工作节点和待停止目标算子所分布的工作节点中的至少一种。

第三方面，本说明书实施例提供一种算子并发度调整设备，包括：处理器以及存储有计算机程序指令的存储器；

所述处理器执行所述计算机程序指令时实现如说明书实施例提供的算子并发度调整方法。