[发明专利]一种基于flink框架的数据处理方法和装置

权利要求书

1.一种基于flink框架的数据处理方法，其特征在于，包括：

flink框架中的窗口在接收到数据后，调用触发器中处理数据的方法，获取当前触发计算操作的触发状态；其中，一个窗口算子中配置一个触发器；

若所述触发状态为触发，则从窗口算子中调用业务处理逻辑处理所述数据，并将本次处理结果汇总至历史处理结果中，得到汇总结果；

在到达定时器的时间后，基于预定方式将所述汇总结果传输至下游算子。

2.根据权利要求1所述的方法，其特征在于，在从窗口算子中调用业务处理逻辑处理所述数据之前，还包括：

利用flink框架确定所述数据所处维度，以将所述数据划分至与所述维度对应的窗口内，并将所述窗口的键名作为所述数据的键名；

从触发器中获取触发处理时间的时间戳，结合所述键名、上下文对象和收集器信息一同存储至所述窗口的所述窗口算子中；

所述从窗口算子中调用业务处理逻辑处理所述数据，包括：

从所述窗口算子中获取所述键名、所述触发处理时间的时间戳、所述上下文对象和所述收集器信息，并调用所述定时器触发时的处理方法进行处理。

3.根据权利要求1所述的方法，其特征在于，所述在到达定时器的时间后，基于预定方式将所述汇总结果传输至下游算子，包括：

将所述汇总结果存储至上下文对象中，当到达定时器的时间后，调用窗口算子中与所述时间对应的处理时间方法；

在调用所述处理时间方法的过程中，调用触发器中与所述处理时间方法对应的处理时间方法，得到触发发送汇总结果操作的触发状态；

若触发状态为真，则从上下文对象中获取所述汇总结果并传输至下游算子，若触发状态为假则不处理。

4.根据权利要求3所述的方法，其特征在于，在所述在到达定时器的时间后，基于预定方式将所述汇总结果传输至下游算子之前，还包括：判断历史数据是否为空，若为空，则确定所述数据为窗口接收的第一条数据，触发触发器在上下文对象中注册一个定时器；以及

在所述从上下文对象中获取所述汇总结果并传输至下游算子之后，还包括：触发触发器在上下文对象中重新注册一个定时器。

5.根据权利要求1所述的方法，其特征在于，所述在到达定时器的时间后，基于预定方式将所述汇总结果传输至下游算子，包括：

组合所述窗口的维度和所述数据的维度生成标识，基于所述标识对所述汇总结果进行打标处理；

将打标后的汇总结果传输至处理算子中，以在所述处理算子中将与所述标识对应的历史汇总结果更换为所述汇总结果，并在到达定时器的时间后，将所述汇总结果传输至所述下游算子。

6.根据权利要求5所述的方法，其特征在于，所述在所述处理算子中将与所述标识对应的历史汇总结果更换为所述汇总结果，还包括：

判断是否存在历史汇总结果，若不存在，则确定所述汇总结果为所述处理算子接收到的第一个汇总结果，在所述处理算子的上下文对象中注册一个定时器；以及

在所述将所述汇总结果传输至所述下游算子之后，还包括：在所述处理算子的上下文对象中重新注册一个定时器。

7.一种基于flink框架的数据处理装置，其特征在于，包括：

接收模块，用于flink框架中的窗口在接收到数据后，调用触发器中处理数据的装置，获取当前触发计算操作的触发状态；其中，一个窗口算子中配置一个触发器；

处理模块，用于若所述触发状态为触发，则从窗口算子中调用业务处理逻辑处理所述数据，并将本次处理结果汇总至历史处理结果中，得到汇总结果；

传输模块，用于在到达定时器的时间后，基于预定方式将所述汇总结果传输至下游算子。