[发明专利]流计算系统中的数据处理方法、控制节点及流计算系统

摘要

本发明公开了一种流计算系统中的数据处理方法、控制节点及流计算系统，该方法包括：收集每个工作节点与其它工作节点之间的数据流量信息和每个工作节点的处理速度信息；根据收集到的数据流量信息和处理速度信息确定每个工作节点的优化并发度；根据工作节点的优化并发度对工作节点的并发度进行调整。本发明公开的方法和装置根据流计算系统中的实时数据对工作节点的并发度进行实时调整，使得工作节点的处理能力能够符合业务处理的实时需求。

主权项

一种流计算系统，其特征在于，包括：控制节点和多个工作节点；所述多个工作节点中的每个工作节点用于，根据自身的并发度，调用对应数目的执行单元来对接收到的元组进行处理；其中，工作节点的并发度表征工作节点可调用的执行单元的数目；各个工作节点的并发度被配置在描述业务处理逻辑的流图中；所述控制节点用于，收集所述每个工作节点的处理速度信息，以及在所述流图中具有逻辑上下游关系的工作节点间的数据流量信息；根据收集到的数据流量信息和处理速度信息确定所述每个工作节点的优化并发度；若确定所述每个工作节点的优化并发度与所述每个工作节点的并发度不相同，则按照所述每个工作节点的优化并发度对所述每个工作节点的并发度进行调整。