[发明专利]基于流批一体的大数据批量计算的优化计算方法及装置

说明书

本发明公开了一种基于流批一体的大数据批量计算的优化计算方法、装置、计算机设备及存储介质，其方法实现包括：根据业务诉求确定字段组合；将数据流按照所述字段组合进行分组，以形成多组不同的数据流；将所述多组不同的数据流分别KeyedProcessFunction中按照呈阶梯递减的时间窗口进行计算，以处理数据逻辑；当计算完成时，输出符合所述业务诉求的数据子集。本申请实施例中，通过时间阶梯缩减和多次数据变化试探的方式优化批量计算的集群资源和计算时间，可以一次性完成数据的计算，并输出符合业务诉求的数据子集，无需进行多次迭代计算，可以有效节省大量的计算资源，并使得计算时间呈阶梯式递减，有效减少了计算时间。

技术领域

本发明涉及大数据批量计算技术领域，尤其涉及一种基于流批一体的大数据批量计算的优化计算方法、装置、计算机设备及存储介质。

背景技术

flink是一个计算框架和分布式处理引擎，支持实时流式无界的大数据计算，同时也支持有界的批量大数据计算。

目前，标准的flink的基于流式计算的批量数据计算过程具体为将数据流进行分区，输入到窗口流WindowStream中，按照某个时间窗口吐出数据，在时间窗口中处理数据逻辑。由于数据流不能保证输入的时间有序性，导致在一个窗口期无法完整处理完备的数据子集，例如，当同组的数据流的某个时间范围区间的数据在window1窗口期已经到期，此时会将这个时间范围区间的数据吐出，如果同组数据流在window2窗口期到期时，触发时间窗口处理数据逻辑，导致属于同一组的数据流有多个处理后的数据子集。

如果只需要一个完备的符合distinct的唯一约束的数据子集，则需要迭代多次上述的计算过程，导致计算资源消耗大，计算时间长，并且迭代次数存在不确定性。

发明内容

基于此，有必要针对上述技术问题，提供一种基于流批一体的大数据批量计算的优化计算方法、装置、计算机设备以及存储介质，以解决现有技术中计算资源消耗大，计算时间长的问题。

第一方面，提供了一种基于流批一体的大数据批量计算的优化计算方法，包括：

根据业务诉求确定字段组合；

将数据流按照所述字段组合进行分组，以形成多组不同的数据流；

将所述多组不同的数据流分别在KeyedProcessFunction中按照呈阶梯递减的时间窗口进行计算，以处理数据逻辑；

当计算完成时，输出符合所述业务诉求的数据子集。

在一实施例中，所述按照呈阶梯递减的时间窗口进行计算，包括：

在open函数中使用多个flink的state类型的变量，分别记录不同的计算状态；

通过processElement函数对相同字段组合的数据流进行处理，并登记触发所述onTimer函数的第一触发时间，以在到达所述第一触发时间时，触发所述onTimer函数；

在所述第一触发时间内，当所述计算状态符合第一预设触发条件时，登记重新触发所述onTimer函数的第二触发时间，以在到达所述第二触发时间时，重新触发所述onTimer函数；

在所述第二触发时间内，当所述计算状态符合第二预设触发条件时，登记重新触发所述onTimer函数的第三触发时间，以在到达所述第二触发时间时，重新触发所述onTimer函数；

其中，所述第一触发时间大于所述第二触发时间，所述第二触发时间大于所述第三触发时间。

在一实施例中，所述计算状态包括dateState、changeFlag、idl；

所述dateState用于表示需要向下游吐出的符合所述业务诉求的业务数据；