[发明专利]一种基于flink框架的数据处理方法和装置

说明书

本发明公开了一种基于flink框架的数据处理方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：flink框架中的窗口在接收到数据后，调用触发器中处理数据的方法，获取当前触发计算操作的触发状态；若所述触发状态为触发，则从窗口算子中调用业务处理逻辑处理所述数据，并将本次处理结果汇总至历史处理结果中，得到汇总结果；在到达定时器的时间后，基于预定方式将所述汇总结果传输至下游算子。该实施方式分离处理数据和发送汇总结果操作并分别触发，避免在大数据场景下，出现短时间内窗口积压大量数据对算子的存储状态造成压力的情况，保证了业务系统的平稳运行。

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于flink框架的数据处理方法和装置。

背景技术

在进行实时数据统计的应用中，有着这样的统计场景，要求实时汇总1小时内的数据，并且每隔1分钟输出一次汇总结果用于展示。

现有基于flink框架技术可以通过窗口触发器(Trigger)定时触发窗口计算，如在1小时的时间窗口内，每隔1分钟触发1次窗口计算，同时输出计算结果。

在实现本发明的过程中，发明人发现现有技术至少存在如下问题：现有数据处理和发送是绑定进行的，在大数据场景下若出现流量高峰，1分钟内窗口会积压大量数据，导致对算子(flink框架中有很多算子，每个算子代表一类运算)的存储状态造成很大压力，影响业务系统的平稳运行。

发明内容

有鉴于此，本发明实施例提供一种基于flink框架的数据处理方法和装置，至少能够解决现有数据处理方式不适合大数据场景的现象。

为实现上述目的，根据本发明实施例的一个方面，提供了一种基于flink框架的数据处理方法，包括：

flink框架中的窗口在接收到数据后，调用触发器中处理数据的方法，获取当前触发计算操作的触发状态；其中，一个窗口算子中配置一个触发器；

若所述触发状态为触发，则从窗口算子中调用业务处理逻辑处理所述数据，并将本次处理结果汇总至历史处理结果中，得到汇总结果；

在到达定时器的时间后，基于预定方式将所述汇总结果传输至下游算子。

可选的，在从窗口算子中调用业务处理逻辑处理所述数据之前，还包括：

利用flink框架确定所述数据所处维度，以将所述数据划分至与所述维度对应的窗口内，并将所述窗口的键名作为所述数据的键名；

从触发器中获取触发处理时间的时间戳，结合所述键名、上下文对象和收集器信息一同存储至所述窗口的所述窗口算子中；

所述从窗口算子中调用业务处理逻辑处理所述数据，包括：

从所述窗口算子中获取所述键名、所述触发处理时间的时间戳、所述上下文对象和所述收集器信息，并调用所述定时器触发时的处理方法进行处理。

可选的，所述在到达定时器的时间后，基于预定方式将所述汇总结果传输至下游算子，包括：

将所述汇总结果存储至上下文对象中，当到达定时器的时间后，调用窗口算子中与所述时间对应的处理时间方法；

在调用所述处理时间方法的过程中，调用触发器中与所述处理时间方法对应的处理时间方法，得到触发发送汇总结果操作的触发状态；

若触发状态为真，则从上下文对象中获取所述汇总结果并传输至下游算子，若触发状态为假则不处理。

可选的，在所述在到达定时器的时间后，基于预定方式将所述汇总结果传输至下游算子之前，还包括：判断历史数据是否为空，若为空，则确定所述数据为窗口接收的第一条数据，触发触发器在上下文对象中注册一个定时器；以及