[发明专利]一种无界流数据处理方法、装置、设备及存储介质

权利要求书

1.一种无界流数据处理方法，其特征在于，包括：

获取原始数据流，将原始数据流中的原始数据进行分组，得到至少一个分组数据流，并将各所述分组数据流分配至各流处理窗口；

针对每个所述流处理窗口，基于所述流处理窗口关联的计时器确定所述流处理窗口的数据接收时长并基于所述数据处理时长判断是否满足时长触发条件，基于所述流处理窗口关联的计数器确定所述流处理窗口的数据接收量并基于所述数据接收量判断是否满足数据量触发条件；

当所述时长触发条件或所述数据量触发条件任一条件满足时，将所述流处理窗口接收到的分组数据流聚合作为待处理数据进行处理。

2.根据权利要求1所述的方法，其特征在于，所述基于所述流处理窗口关联的计时器确定所述流处理窗口的数据接收时长并基于所述数据处理时长判断是否满足时长触发条件，包括：

计算当前时间与所述计时器的初始时间的时间差值，当所述时间差值到达设定的时间阈值时，判定所述数据接收时长满足所述时长触发条件。

3.根据权利要求1所述的方法，其特征在于，所述基于所述流处理窗口关联的计数器确定所述流处理窗口的数据接收量并基于所述数据接收量判断是否满足数据量触发条件，包括：

每接收到一条分组数据，累加所述计数器的计数值，当所述计数器的计数值到达设定的数据量阈值时，判定所述数据接收量满足所述数据量触发条件。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当所述时长触发条件或所述数据量触发条件任一条件满足时，对所述计时器和所述计数器进行重置。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

通过憋洪压测方式确定最大处理能力；

基于所述最大处理能力和所述流处理窗口的并发数量确定各流处理窗口的窗口处理能力；

基于所述窗口处理能力设定所述计时器的时间阈值和所述计数器的数据量阈值。

6.根据权利要求1所述的方法，其特征在于，所述获取原始数据流，包括：

根据预先设定的数据流接收参数接收所述原始数据流，所述数据量接收参数包括接收时间参数和接收计数参数。

7.根据权利要求1所述的方法，其特征在于，所述将原始数据流中的原始数据进行分组，得到至少一个分组数据流，包括：

通过字段分组对所述原始数据进行分组，得到所述分组数据流。

8.一种无界流数据处理装置，其特征在于，包括：

数据分组模块，用于获取原始数据流，将原始数据流中的原始数据进行分组，得到至少一个分组数据流，并将各所述分组数据流分配至各流处理窗口；

计时计量模块，用于针对每个所述流处理窗口，基于所述流处理窗口关联的计时器确定所述流处理窗口的数据接收时长并基于所述数据处理时长判断是否满足时长触发条件，基于所述流处理窗口关联的计数器确定所述流处理窗口的数据接收量并基于所述数据接收量判断是否满足数据量触发条件；

数据处理模块，用于当所述时长触发条件或所述数据量触发条件任一条件满足时，将所述流处理窗口接收到的分组数据流聚合作为待处理数据进行处理。

9.一种计算机设备，其特征在于，所述设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的无界流数据处理方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的无界流数据处理方法。