[发明专利]基于流批一体的大数据批量计算的优化计算方法及装置

权利要求书

1.一种基于流批一体的大数据批量计算的优化计算方法，其特征在于，所述方法，包括：

根据业务诉求确定字段组合；

将数据流按照所述字段组合进行分组，以形成多组不同的数据流；

将所述多组不同的数据流分别在KeyedProcessFunction中按照呈阶梯递减的时间窗口进行计算，以处理数据逻辑；

当计算完成时，输出符合所述业务诉求的数据子集；

其中，所述按照呈阶梯递减的时间窗口进行计算，包括：

在open函数中使用多个flink的state类型的变量，分别记录不同的计算状态；

通过processElement函数对相同字段组合的数据流进行处理，并登记触发onTimer函数的第一触发时间，以在到达所述第一触发时间时，触发所述onTimer函数；

在所述第一触发时间内，当所述计算状态符合第一预设触发条件时，登记重新触发所述onTimer函数的第二触发时间，以在到达所述第二触发时间时，重新触发所述onTimer函数；

在所述第二触发时间内，当所述计算状态符合第二预设触发条件时，登记重新触发所述onTimer函数的第三触发时间，以在到达所述第三触发时间时，重新触发所述onTimer函数；

其中，所述第一触发时间大于所述第二触发时间，所述第二触发时间大于所述第三触发时间。

2.如权利要求1所述的基于流批一体的大数据批量计算的优化计算方法，其特征在于，所述计算状态包括dateState、changeFlag、idl；

所述dateState用于表示需要向下游吐出的符合所述业务诉求的业务数据；

所述changeFlag用于标识相同字段组合的数据流，是否接收到了新的数据引起了所述dateState发生变化；

所述idl用于标识相同字段组合的数据流中，所述dateState已经累计多少次没有发生变化。

3.如权利要求2所述的基于流批一体的大数据批量计算的优化计算方法，其特征在于，所述登记触发所述onTimer函数的第一触发时间，包括：

当所述dateState为空值时，计算并更新所述dateState，将所述changeFlag更新为false，所述idl更新为0，并登记触发所述onTimer函数的第一触发时间；

其中，所述false用于表示所述dateState的数据没有变化。

4.如权利要求2所述的基于流批一体的大数据批量计算的优化计算方法，其特征在于，所述通过processElement函数对所述相同字段组合的数据流中的数据进行处理之后，包括：

当所述dateState不为空值时，计算并更新所述dateState，并将所述changeFlag更新为true；

其中，所述true用于表示所述dateState的数据存在变化。

5.如权利要求4所述的基于流批一体的大数据批量计算的优化计算方法，其特征在于，所述当所述计算状态符合第一预设触发条件时，登记重新触发所述onTimer函数的第二触发时间，包括：

当所述changeFlag为true时，将所述changeFlag重置为false，所述idl重置为0，同时记录重新触发所述onTimer函数的第一个第二触发时间；

在所述第一个第二触发时间内，所述changeFlag为true时，将所述changeFlag重置为false，所述idl重置为0，同时记录重新触发所述onTimer函数的第二个第二触发时间，重复上述步骤，直到第N个第二触发时间内，所述changeFlag为false。

6.如权利要求5所述的基于流批一体的大数据批量计算的优化计算方法，其特征在于，所述当符合第二预设触发条件时，登记重新触发所述onTimer函数的第三触发时间，包括：

当所述changeFlag为false，则确定所述idl是否小于第一预设阈值；

当结果为是，则将所述changeFlag更新为false，将所述idl增加一次，同时记录重新触发所述onTimer函数的第三触发时间。