[发明专利]一种storm数据流反压方法以及节点

权利要求书

1.一种storm数据流反压方法，其特征在于，包括：；

节点设置接收队列和发送队列，所述节点包括数据源读取节点Spout和数据处理节点Bolt，所述接收队列用于保存上游节点发送的数据流元组Tuple，所述发送队列用于保存并向下游节点发送本节点已处理完毕的数据流元组Tuple；

节点接收到来自下游节点的过载消息后，根据下游节点接收队列的大小自适应减小自身的发送队列大小；以及根据减小后的发送队列大小自适应减小自身的接收队列大小；

节点接收到来自上游节点的过载消息后，根据上游节点发送队列大小自适应减小自身的接收队列大小，以及根据减小后的接收队列大小自适应减小自身的发送队列大小。

2.根据权利要求1所述的基于可变队列的storm数据流反压方法，其特征在于，还包括：

节点接收到过载解除的消息后，线性增加自身的队列大小。

3.根据权利要求1或2所述的基于可变队列的storm数据流反压方法，其特征在于，还包括：

节点若从未接收到过载消息，指数增加自身的队列大小。

4.根据权利要求1所述的基于可变队列的storm数据流反压方法，其特征在于，节点接收到来自下游节点的过载消息后，根据下游节点接收队列的大小自适应减小自身的发送队列大小；以及根据减小后的发送队列大小自适应减小自身的接收队列大小；节点接收到来自上游节点的过载消息后，根据上游节点发送队列大小自适应减小自身的接收队列大小，以及根据减小后的接收队列大小自适应减小自身的发送队列大小，包括：

节点接收到来自下游节点的过载消息后，将自身的发送队列大小设置为当前发送队列大小的一半，以及将自身的接收队列大小设置为当前接收队列大小的一半；

节点接收到来自上游节点的过载消息后，将自身的接收队列大小设置为当前接收队列大小的一半，以及将自身的发送队列大小设置为当前发送队列大小的一半。

5.一种storm数据流反压节点，其特征在于，所述节点包括数据源读取节点Spout和数据处理节点Bolt，每个节点包括：

接收队列，用于保存上游节点发送的数据流元组Tuple；

发送队列，用于保存并向下游节点发送本节点已处理完毕的数据流元组Tuple；

过载模块，用于在本节点过载时产生过载消息，并发送过载消息；

调整模块，用于接收到来自下游节点的过载消息后，根据下游节点接收队列的大小自适应减小发送队列大小，以及根据减小后的发送队列大小自适应减小接收队列大小；接收到来自上游节点的过载消息后，根据上游节点发送队列大小自适应减小接收队列大小，以及根据减小后的接收队列大小自适应减小发送队列大小。

6.根据权利要求5所述的storm数据流反压节点，其特征在于，

调整模块，还用于在节点接收到过载解除的消息后，线性增加节点的队列大小。

7.根据权利要求5或6所述的storm数据流反压节点，其特征在于，

调整模块，还用于在节点从未接收到过载消息的情况下，指数增加节点的队列大小。

8.根据权利要求5所述的storm数据流反压节点，其特征在于，

调整模块，用于接收到来自下游节点的过载消息后，将节点的发送队列大小设置为当前发送队列大小的一半，以及将接收队列大小设置为当前接收队列大小的一半；接收到来自上游节点的过载消息后，将节点的接收队列大小设置为当前接收队列大小的一半，以及将发送队列大小设置为当前发送队列大小的一半。

9.一种计算机可读存储介质，其特征在于，所述介质存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现权利要求1至4中任一项所述的storm数据流反压方法。

10.一种storm数据流反压设备，其特征在于，包括：

存储器，设置为存储指令；

处理器，设置为执行所述指令，实现权利要求1至4中任一项所述的storm数据流反压方法的步骤。