[发明专利]一种水位推进方法、装置、计算节点及存储介质

说明书

本发明实施例公开了一种水位推进方法、装置、计算节点及存储介质。所述方法包括：上游计算节点检测与下游计算节点之间的各个连通管道在预设时间段内是否存在数据包；若与所述下游计算节点之间的各个连通管道在所述预设时间段内不存在数据包，在不存在数据包的各个连通管道内插入心跳Heartbeat数据包，使得所述下游计算节点对各个连通管道中的数据包进行处理。本发明实施例可以有效地解决水位阻塞的问题，从而可以提高数据处理的及时性和可靠性。

技术领域

本发明实施例涉及流式计算技术领域，尤其涉及一种水位推进方法、装置、计算节点及存储介质。

背景技术

在传统的数据处理流程中，总是先收集数据，然后将数据放到数据库中。当人们需要的时候通过数据库对数据做询问，得到答案或进行相关的处理。这样看起来虽然非常合理，但是结果却非常的紧凑，尤其是在一些实时搜索应用环境中的某些具体问题，类似于MapReduce方式的离线处理并不能很好地解决问题。这就引出了一种新的数据计算结构：流式计算。它可以很好地对大规模流动数据在不断变化的运动过程中实时地进行分析，捕捉到可能有用的信息，并把结果发送到下一计算节点。

在流式计算中，Low Watermark(低水位时间戳)用于标记数据流(data pipeline)中最早没有完成的数据的Eventime(事件时间)，它承诺不会有早于该时间戳的数据到达，Low Watermark被广泛地应用在窗口计算的场景，比如多流拼接，聚合计算，水位落盘等。在实际场景中，连接上游计算节点和下游计算节点的某个连通管道pipeline中，在一段时间内不产生数据包，称之为流idle。流idle会导致整体水位无法推进，从而导致水位阻塞。在现有技术中，下游计算节点会容忍上游计算节点的延迟，直到上游计算节点开始产生数据包，才能推进水位前进。

发明内容

有鉴于此，本发明实施例提供一种水位推进方法、装置、计算节点及存储介质，可以有效地解决水位阻塞的问题，从而可以提高数据处理的及时性和可靠性。

第一方面，本发明实施例提供了一种水位推进方法，应用于上游计算节点，所述方法包括：

检测与下游计算节点之间的各个连通管道在预设时间段内是否存在数据包；

若与所述下游计算节点之间的各个连通管道在所述预设时间段内不存在数据包，在不存在数据包的各个连通管道内插入心跳Heartbeat数据包，使得所述下游计算节点对各个连通管道中的数据包进行处理。

在上述实施例中，所述在不存在数据包的各个连通管道内插入Heartbeat数据包，包括：

确定所述上游计算节点在所述当前时刻的低水位时间戳Low Watermark；

根据所述上游计算节点在所述当前时刻的Low Watermark，在不存在数据包的各个连通管道内插入Heartbeat数据包；其中，所述Heartbeat数据包携带所述上游计算节点在所述当前时刻的Low Watermark。

第二方面，本发明实施例还提供了一种水位推进方法，应用于下游计算节点，所述方法包括：

检测与上游计算节点之间的各个连通管道在预设时间段内是否存在心跳Heartbeat数据包；

若与所述上游计算节点之间的各个连通管道在所述预设时间段内存在所述Heartbeat数据包，根据所述Heartbeat数据包和各个连通管道中的数据包携带的时间戳，对各个连通管道中的数据包进行处理。

在上述实施例中，所述根据所述Heartbeat数据包和各个连通管道中的数据包携带的时间戳，对各个连通管道中的数据包进行处理，包括：

根据所述Heartbeat数据包和各个连通管道中的数据包携带的时间戳，确定出所述下游计算节点最久未被处理的数据包的时间戳；