[发明专利]一种storm数据流反压方法以及节点

说明书

本发明公开了一种storm数据流反压方法和节点，其中，所述方法包括：节点设置接收队列和发送队列，接收队列用于保存上游节点发送的Tuple，发送队列用于保存并向下游节点发送本节点已处理完毕的Tuple；节点接收到来自下游节点的过载消息后，根据下游节点接收队列的大小自适应减小自身的发送队列大小；以及根据减小后的发送队列大小自适应减小自身的接收队列大小；节点接收到来自上游节点的过载消息后，根据上游节点发送队列大小自适应减小自身的接收队列大小，以及根据减小后的接收队列大小自适应减小自身的发送队列大小。本发明避免了storm数据流处于震荡状态。

技术领域

本发明涉及storm数据流反压技术，尤指一种storm数据流反压方法以及节点。

背景技术

分布式实时大数据处理组件Apache Storm由于其强大的实时计算能力被广泛应用于实时搜索、高频交易和社交网络等场景，受到业界一致好评。然而，分布式实时大数据流式框架Storm在大数据库流式计算环境中，由于读取数据源的Spout节点及数据处理Bolt节点之间对数据处理能力差异明显，导致大量数据流元组Tuple被丢弃。

针对Storm在突发性数据流中存在的Tuple处理超时而失败的问题，业界与学术界开展了一系列的研究工作。Storm提出了一种机制，当输入的数据流元组无法被及时处理或者元组的到达速率超过其被处理速率时，发送者会简单地丢弃这些Tuple，触发限流控制，从Spout处暂停数据源的发送，这一机制称为反压机制。当下游出现过载时，上游停止发送，下游消除过载后，上游开始放流。然后下游过载，上游又停止发送数据，如此反复，可能导致整个数据流一直处在震荡状态，必然影响整个Apache Storm集群计算效率。因此，反压机制的高稳定性、有效性成为Storm计算框架亟待解决的问题。

发明内容

为了解决上述技术问题，本发明提供了一种storm数据流反压方法和节点，可以避免storm数据流处于震荡状态。

本发明提供的一种storm数据流反压方法，包括：

节点设置接收队列和发送队列，所述节点包括数据源读取节点Spout和数据处理节点Bolt，所述接收队列用于保存上游节点发送的数据流元组Tuple，所述发送队列用于保存并向下游节点发送本节点已处理完毕的数据流元组Tuple；

节点接收到来自下游节点的过载消息后，根据下游节点接收队列的大小自适应减小自身的发送队列大小；以及根据减小后的发送队列大小自适应减小自身的接收队列大小；

节点接收到来自上游节点的过载消息后，根据上游节点发送队列大小自适应减小自身的接收队列大小，以及根据减小后的接收队列大小自适应减小自身的发送队列大小。

本发明提供的一种storm数据流反压节点，所述节点包括数据源读取节点Spout和数据处理节点Bolt，每个节点包括：

接收队列，用于保存上游节点发送的数据流元组Tuple；

发送队列，用于保存并向下游节点发送本节点已处理完毕的数据流元组Tuple；

过载模块，用于在本节点过载时产生过载消息，并发送过载消息；

调整模块，用于接收到来自下游节点的过载消息后，根据下游节点接收队列的大小自适应减小发送队列大小，以及根据减小后的发送队列大小自适应减小接收队列大小；接收到来自上游节点的过载消息后，根据上游节点发送队列大小自适应减小接收队列大小，以及根据减小后的接收队列大小自适应减小发送队列大小。

本发明提供了一种计算机可读存储介质，所述介质存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现上述的storm数据流反压方法。

本发明提供了一种storm数据流反压设备，包括：

存储器，设置为存储指令；