[发明专利]用于对算子节点进行扩缩容调整的方法、装置及系统

说明书

本说明书实施例提供了一种用于对算子节点进行扩缩容调整的方法、装置及系统。在该方法中，响应于根据实时数据流所确定出的待调整并发算子节点，控制节点根据待调整并发算子节点的上下游算子节点构造算子节点拓扑图；控制节点向算子节点拓扑图中有调整的各个算子节点发送针对该算子节点的图状态更新信息，以使所述有调整的各个算子节点更新连接；控制节点向算子节点拓扑图中的源算子节点发送调整标识信息；在各个算子节点处，根据该算子节点与上下游算子节点的连接来获取调整标识信息，以基于调整标识信息进行算子节点的状态调整；以及控制节点响应于接收调整标识信息，向各个算子节点发送调整完成信息，以通知算子节点拓扑图完成。

技术领域

本说明书实施例涉及大数据计算技术领域，具体地，涉及用于对算子节点进行扩缩容调整的方法、装置及系统。

背景技术

在目前的流计算系统中，在任务提交运行时会根据默认设置的参数或者用户经验所调配的参数来进行资源分配，然后按照所分配的资源来执行任务计算，直至任务完成或任务停止。

对于流计算的任务来说，不同时间段的任务流量会存在变化，比如，任务是统计每天中市内交通的运载量，在一天中的早晚高峰时间段内的运载量明显会高于其他时间段，从而早晚高峰时间段的流数据高于其他时间段。在这种情况下，由于任务流量实时变化，始终利用最初分配的资源进行任务计算，在任务流量较小时，仅需部分资源来执行，这样导致资源浪费，而在任务流量较大时，即使使用分配的所有资源来执行任务，也会导致负载压力大且吞吐能力下降。基于此，针对流计算的任务，需要根据实时流量来调整资源以匹配当前的任务流量。

目前的一种资源调整方式，在流计算的任务执行过程中，当任务流量变化时，需要进行相应的扩缩容处理，此时，可以触发一次checkpoint，完成一次任务状态的快照。然后停止任务，根据当前的任务流量来重新分配并发算子等资源，在重新分配完成后重启任务以继续运行。

发明内容

鉴于上述，本说明书实施例提供了用于对算子节点进行扩缩容调整的方法、装置及系统。在本说明书实施例提供的技术方案中，通过构造算子节点拓扑图以及在算子接待你拓扑图的各个算子节点之间传输调整标识信息，无需停止任务，从而避免了任务停止后重启需要从上一个checkpoint重复消费一段数据所导致的整体任务流程延迟的问题，且仅算子节点拓扑图所涉及的各个算子节点便能实现扩缩容调整，从而降低了对任务的影响。

根据本说明书实施例的一个方面，提供了一种用于对算子节点进行扩缩容调整的方法，包括：响应于根据实时数据流所确定出的待调整并发算子节点，控制节点根据所述待调整并发算子节点的上下游算子节点构造针对所述待调整并发算子节点的算子节点拓扑图；所述控制节点向所述算子节点拓扑图中有调整的各个算子节点发送针对该算子节点的图状态更新信息，以使所述有调整的各个算子节点更新连接，其中，所述各个算子节点的图状态更新信息包括该算子节点的上下游算子节点调整信息以及针对该算子节点的连接调整信息；所述控制节点向所述算子节点拓扑图中的源算子节点发送调整标识信息；在所述各个算子节点处，根据该算子节点与上下游算子节点的连接来获取所述调整标识信息，以基于所述调整标识信息进行算子节点的状态调整；以及所述控制节点响应于从所述算子节点拓扑图中的尾算子节点接收所述调整标识信息，向所述各个算子节点发送调整完成信息，以通知所述各个算子节点经过所述扩缩容调整的算子节点拓扑图完成。