[发明专利]算子并发度调整方法、装置和设备

权利要求书

1.一种算子并发度调整方法，应用于流计算系统中的控制节点，所述流计算系统包括所述控制节点和至少一个工作节点，所述工作节点上分布有至少一个算子，其特征在于，所述方法包括：

接收工作节点上的算子的运行指标，所述运行指标用于表征算子的数据处理能力；

基于算子的运行指标，确定需要进行并发度调整的目标算子的并发度调整策略；

向目标工作节点发送所述并发度调整策略，以使所述目标工作节点调整所述目标算子的并发度，所述目标工作节点包括待新增目标算子所分布的工作节点和待停止目标算子所分布的工作节点中的至少一种。

2.根据权利要求1所述的方法，其特征在于，所述基于算子的运行指标，确定需要进行并发度调整的目标算子的并发度调整策略，包括：

获取所述目标算子的总运行指标以及所述目标算子的上游算子的总运行指标；

基于所述目标算子的总运行指标以及所述目标算子的上游算子的总运行指标，确定所述目标算子的并发度调整策略；

其中，所述目标算子的总运行指标为与所述目标算子具有相同算子标识的所有正在运行的算子的运行指标的总和；

所述目标算子的上游算子的总运行指标为与所述目标算子的上游算子具有相同算子标识的所有正在运行的算子的运行指标的总和。

3.根据权利要求2所述的方法，其特征在于，在所述获取所述目标算子的总运行指标以及所述目标算子的上游算子的总运行指标之前，所述方法还包括：

基于所有各个算子的运行指标，得到每种算子标识对应的算子的总运行指标；

对于每种算子标识对应的算子，基于一种所述算子标识对应的第一算子的总运行指标以及所述第一算子的第一上游算子的总运行指标，确定所述第一算子是否为需要进行并发度调整的目标算子。

4.根据权利要求3所述的方法，其特征在于，所述运行指标包括算子的输入每秒事务处理量TPS和输出TPS；所述第一算子的总运行指标为每个第一算子的输入TPS的第一总和，所述第一上游算子的总运行指标为每个第一上游算子的输出TPS的第二总和；

其中，所述基于一种所述算子标识对应的第一算子的总运行指标以及所述第一算子的第一上游算子的总运行指标，确定所述第一算子是否为需要进行并发度调整的目标算子，包括：

若所述第二总和减去所述第一总和的差值大于第一预设TPS阈值，则确定所述第一算子为需要进行并发度增加的目标算子；

若所述第一总和减去所述第二总和的差值大于第二预设TPS阈值，则确定所述第一算子为需要进行并发度减小的目标算子。

5.根据权利要求1所述的方法，其特征在于，所述并发度调整策略包括各个相互独立的待调整目标算子的并发度调整策略；

其中，所述向目标工作节点发送所述并发度调整策略，以使所述目标工作节点调整所述目标算子的并发度，包括：

分别向每个所述待调整目标算子所分布的目标工作节点发送其对应的所述待调整目标算子的并发度调整策略，以使所述待调整目标算子所分布的目标工作节点调整所述待调整目标算子。

6.根据权利要求1所述的方法，其特征在于，若所述并发度调整策略为并发度增加策略，所述并发度增加策略包括待新增目标算子的个数以及每个待新增目标算子所分布的目标工作节点的标识信息；

其中，所述向目标工作节点发送所述并发度调整策略，以使所述目标工作节点调整所述目标算子的并发度，包括：

基于每个目标工作节点的标识信息，向每个所述待新增目标算子所分布的目标工作节点发送其对应的所述待新增目标算子的创建指令，以使所述目标工作节点基于所述创建指令创建所述待新增目标算子、创建所述待新增目标算子与自身上游算子之间的数据通道以及创建所述待新增目标算子与自身下游算子之间的数据通道；

向每个第一工作节点发送其对应的已创建的新增目标算子的上游算子的调整后的第一数据派发策略，以使所述第一工作节点控制所述新增目标算子的上游算子向所述新增目标算子派发数据；

其中，所述第一工作节点为已创建的新增目标算子的上游算子所分布的工作节点。