[发明专利]一种水位推进方法、装置、计算节点及存储介质在审
申请号: | 201910708627.5 | 申请日: | 2019-08-01 |
公开(公告)号: | CN110460495A | 公开(公告)日: | 2019-11-15 |
发明(设计)人: | 汪婷;邢越;赵得润;石然;孙英富 | 申请(专利权)人: | 北京百度网讯科技有限公司 |
主分类号: | H04L12/26 | 分类号: | H04L12/26 |
代理公司: | 11332 北京品源专利代理有限公司 | 代理人: | 孟金喆<国际申请>=<国际公布>=<进入 |
地址: | 100085北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 计算节点 数据包 连通管道 预设时间段 水位 存储介质 数据处理 有效地 阻塞 心跳 上游 检测 | ||
1.一种水位推进方法,其特征在于,应用于上游计算节点,所述方法包括:
检测与下游计算节点之间的各个连通管道在预设时间段内是否存在数据包;
若与所述下游计算节点之间的各个连通管道在所述预设时间段内不存在数据包,在不存在数据包的各个连通管道内插入心跳Heartbeat数据包,使得所述下游计算节点对各个连通管道中的数据包进行处理。
2.根据权利要求1所述的方法,其特征在于,所述在不存在数据包的各个连通管道内插入Heartbeat数据包,包括:
确定所述上游计算节点在所述当前时刻的低水位时间戳Low Watermark;
根据所述上游计算节点在所述当前时刻的Low Watermark,在不存在数据包的各个连通管道内插入Heartbeat数据包;其中,所述Heartbeat数据包携带所述上游计算节点在所述当前时刻的Low Watermark。
3.一种水位推进方法,其特征在于,应用于下游计算节点,所述方法包括:
检测与上游计算节点之间的各个连通管道在预设时间段内是否存在心跳Heartbeat数据包;
若与所述上游计算节点之间的各个连通管道在所述预设时间段内存在所述Heartbeat数据包,根据所述Heartbeat数据包和各个连通管道中的数据包携带的时间戳,对各个连通管道中的数据包进行处理。
4.根据权利要求3所述的方法,其特征在于,所述根据所述Heartbeat数据包和各个连通管道中的数据包携带的时间戳,对各个连通管道中的数据包进行处理,包括:
根据所述Heartbeat数据包和各个连通管道中的数据包携带的时间戳,确定出所述下游计算节点最久未被处理的数据包的时间戳;
根据所述下游计算节点最久未被处理的数据包的时间戳和预先确定的所述上游计算节点在所述当前时刻的Low Watermark,确定出所述下游计算节点在所述当前时刻的LowWatermark;
根据所述下游计算节点在所述当前时刻的Low Watermark,对各个连通管道中的数据包进行处理。
5.根据权利要求4所述的方法,其特征在于,所述下游计算节点按照以下公式确定出所述下游计算节点在所述当前时刻的Low Watermark:
Low Watermark B=min(oldest work of B,Low Watermark of A);其中,A为所述上游计算节点;B为所述下游计算节点;Low Watermark of A为所述上游计算节点在所述当前时刻的低水位时间戳;Low Watermark of B为所述下游计算节点在所述当前时刻的低水位时间戳;oldest work of B为所述下游计算节点最久未被处理的数据包的时间戳。
6.一种水位推进装置,其特征在于,所述装置包括:第一检测模块和插入模块;其中,
所述第一检测模块,用于检测与下游计算节点之间的各个连通管道在预设时间段内是否存在数据包;
所述插入模块,用于若与所述下游计算节点之间的各个连通管道在所述预设时间段内不存在数据包,在不存在数据包的各个连通管道内插入心跳Heartbeat数据包,使得所述下游计算节点对各个连通管道中的数据包进行处理。
7.根据权利要求6所述的装置,其特征在于,所述插入模块包括:第一确定子模块和插入子模块;其中,
所述第一确定子模块,用于确定所述上游计算节点在所述当前时刻的低水位时间戳Low Watermark;
所述插入子模块,用于根据所述上游计算节点在所述当前时刻的Low Watermark,在不存在数据包的各个连通管道内插入Heartbeat数据包;其中,所述Heartbeat数据包携带所述上游计算节点在所述当前时刻的Low Watermark。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京百度网讯科技有限公司,未经北京百度网讯科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910708627.5/1.html,转载请声明来源钻瓜专利网。
- 上一篇:物联网自动化验证架构
- 下一篇:通过帧率控制实现网络自适应时延降低