[发明专利]一种storm数据流反压方法以及节点在审
申请号: | 201810565586.4 | 申请日: | 2018-06-04 |
公开(公告)号: | CN108768881A | 公开(公告)日: | 2018-11-06 |
发明(设计)人: | 王文庆;杜彦魁;关坤龙 | 申请(专利权)人: | 郑州云海信息技术有限公司 |
主分类号: | H04L12/825 | 分类号: | H04L12/825;H04L12/863 |
代理公司: | 北京安信方达知识产权代理有限公司 11262 | 代理人: | 王康;解婷婷 |
地址: | 450018 河南省郑州市*** | 国省代码: | 河南;41 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开了一种storm数据流反压方法和节点,其中,所述方法包括:节点设置接收队列和发送队列,接收队列用于保存上游节点发送的Tuple,发送队列用于保存并向下游节点发送本节点已处理完毕的Tuple;节点接收到来自下游节点的过载消息后,根据下游节点接收队列的大小自适应减小自身的发送队列大小;以及根据减小后的发送队列大小自适应减小自身的接收队列大小;节点接收到来自上游节点的过载消息后,根据上游节点发送队列大小自适应减小自身的接收队列大小,以及根据减小后的接收队列大小自适应减小自身的发送队列大小。本发明避免了storm数据流处于震荡状态。 | ||
搜索关键词: | 发送队列 接收队列 减小 自适应 数据流 上游节点 下游节点 过载消息 节点接收 反压 发送 节点设置 保存 本节点 震荡 | ||
【主权项】:
1.一种storm数据流反压方法,其特征在于,包括:;节点设置接收队列和发送队列,所述节点包括数据源读取节点Spout和数据处理节点Bolt,所述接收队列用于保存上游节点发送的数据流元组Tuple,所述发送队列用于保存并向下游节点发送本节点已处理完毕的数据流元组Tuple;节点接收到来自下游节点的过载消息后,根据下游节点接收队列的大小自适应减小自身的发送队列大小;以及根据减小后的发送队列大小自适应减小自身的接收队列大小;节点接收到来自上游节点的过载消息后,根据上游节点发送队列大小自适应减小自身的接收队列大小,以及根据减小后的接收队列大小自适应减小自身的发送队列大小。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于郑州云海信息技术有限公司,未经郑州云海信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201810565586.4/,转载请声明来源钻瓜专利网。