[发明专利]基于事件心跳和多版本的Flink流维Join通用处理方法

权利要求书

1.一种基于事件心跳和多版本的Flink流维Join通用处理方法，其特征在于，包括以下步骤：

1)快照服务器接收来自存储端发送的心跳事件，将接收到的心跳事件按不同数据集分类，合并来自相同数据集分区的心跳生成该分区的快照，合并相同数据集所有分区的快照生成数据集的快照；

2)用户在Flink服务上进行流维Join计算，根据不同流维所属的数据集查询该快照，生成水印，Flink服务根据水印触发流计算，生成计算结果，写入存储端。

2.根据权利要求1所述的基于事件心跳和多版本的Flink流维Join通用处理方法，其特征在于，步骤1)中，所述的心跳事件包括：接收来自Kafka上游以及Flink内部Sink端的心跳。

3.根据权利要求1所述的基于事件心跳和多版本的Flink流维Join通用处理方法，其特征在于，步骤1)中，所述的相同数据集是指产生于同一数据源头的数据集合。

4.根据权利要求1所述的基于事件心跳和多版本的Flink流维Join通用处理方法，其特征在于，步骤1)中，所述的数据集的快照为可用的完整数据集。

5.根据权利要求1所述的基于事件心跳和多版本的Flink流维Join通用处理方法，其特征在于，步骤1)中，合并来自相同数据集分区的心跳生成该分区的快照，具体包括：

A)首先等待数据集分区的所有数据源的到来，当数据集分区的所有来源的心跳均到来时，即开始进行合并；

B)合并时会生成本次最大可合并心跳，然后在新的线程中进行合并，将所有小于该最大可合并心跳时间的心跳批量写入存储端，生成该分区的快照。

6.根据权利要求5所述的基于事件心跳和多版本的Flink流维Join通用处理方法，其特征在于，步骤A)中，采用逐层递推算法进行合并。

7.根据权利要求5所述的基于事件心跳和多版本的Flink流维Join通用处理方法，其特征在于，步骤B)中，将所有小于该最大可合并心跳时间的心跳批量写入存储端，具体包括：

使用优先级队列来维护相同数据集的心跳，优先级基于心跳的时间，时间越小，则排在队列的头部，心跳时间越大，越晚被取出，每次将循环相同分区的不同数据源的心跳值，取出最小的心跳值，写入存储端。

8.根据权利要求1所述的基于事件心跳和多版本的Flink流维Join通用处理方法，其特征在于，步骤2)中，水印使用双快照水印，取流表与维表中较小的快照值作为水印。