[发明专利]一种无界流数据处理方法、装置、设备及存储介质

说明书

本发明实施例公开了一种无界流数据处理方法、装置、设备及存储介质，所述方法包括：获取原始数据流，将原始数据流中的原始数据进行分组，得到至少一个分组数据流，并将各分组数据流分配至各流处理窗口；针对每个流处理窗口，基于流处理窗口关联的计时器确定流处理窗口的数据接收时长并基于数据处理时长判断是否满足时长触发条件，基于流处理窗口关联的计数器确定流处理窗口的数据接收量并基于数据接收量判断是否满足数据量触发条件；当时长触发条件或数据量触发条件任一条件满足时，将流处理窗口接收到的分组数据流作为待处理数据进行处理，保证了数据量情况不同时，均能够合理的对无界流数据进行处理。

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种无界流数据处理方法、装置、设备及存储介质。

背景技术

在流处理应用中，数据是连续不断的，因此不可能等到所有数据都接收才开始处理。常用的处理方式是将数据进行聚合类的处理。

在实现本发明的过程中，发明人发现现有技术中至少存在以下技术问题：目前的数据聚合方式仅适用于单一的数据特征，当数据特征改变时，数据聚合方式不合理，导致数据处理的准确度差。

发明内容

本发明实施例提供了一种无界流数据处理方法、装置、设备及存储介质，以实现提供一种不同数据特征均使用的数据流处理方法，提高无界流数据的处理效果。

第一方面，本发明实施例提供了一种无界流数据处理方法，包括：

获取原始数据流，将原始数据流中的原始数据进行分组，得到至少一个分组数据流，并将各分组数据流分配至各流处理窗口；

针对每个流处理窗口，基于流处理窗口关联的计时器确定流处理窗口的数据接收时长并基于数据处理时长判断是否满足时长触发条件，基于流处理窗口关联的计数器确定流处理窗口的数据接收量并基于数据接收量判断是否满足数据量触发条件；

当时长触发条件或数据量触发条件任一条件满足时，将流处理窗口接收到的分组数据流聚合作为待处理数据进行处理。

第二方面，本发明实施例还提供了一种无界流数据处理装置，包括：

数据分组模块，用于获取原始数据流，将原始数据流中的原始数据进行分组，得到至少一个分组数据流，并将各分组数据流分配至各流处理窗口；

计时计量模块，用于针对每个流处理窗口，基于流处理窗口关联的计时器确定流处理窗口的数据接收时长并基于数据处理时长判断是否满足时长触发条件，基于流处理窗口关联的计数器确定流处理窗口的数据接收量并基于数据接收量判断是否满足数据量触发条件；

数据处理模块，用于当时长触发条件或数据量触发条件任一条件满足时，将流处理窗口接收到的分组数据流聚合作为待处理数据进行处理。

第三方面，本发明实施例还提供了一种计算机设备，设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如本发明任意实施例所提供的无界流数据处理方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的无界流数据处理方法。