[发明专利]一种流式计算环境下的并行数据回流方法

摘要

一种面向实时流计算的并行数据回流方法，包括以下步骤：步骤(1)初始化三个队列；步骤(2)初始化一个管道Data Queue；步骤(3)Topology的Spout向Data Queue发起读请求；步骤(4)Data Queue读取三个队列中的数据；步骤(5)判断ToP指向的队列是否为空，若是，进行步骤(6)；若否，进行步骤(7)；步骤(6)将From队列中的数据复制到To队列中，并清空From队列；步骤(7)Topology获取Data Queue中的数据，当前Task向下游发送一个Tuple；步骤(8)当前Task等待发送Tuple的反馈，若发送失败或超时未反馈，则选择回流该Tuple；步骤(9)判断Topology是否可以停止，若否，则回到步骤(4)，否则，结束。本发明数据无状态且具有容错性；降低数据计算延迟，提高系统响应性；回流的数据会尽可能优先处理。