[发明专利]乱序数据处理方法、装置、设备及可读存储介质

权利要求书

1.一种乱序数据处理方法，其特征在于，所述乱序数据处理方法包括以下步骤：

基于预设流处理框架从消息队列中读取待处理数据，并判断与所述待处理数据的生成时间匹配的时间窗口是否处于清除状态；

若处于清除状态，则判定所述待处理数据为乱序数据，基于所述预设流处理框架重新形成所述时间窗口，并读取与所述时间窗口对应的历史清除数据，将所述历史清除数据恢复到所述时间窗口；

基于所述预设流处理框架将所述待处理数据分配到所述时间窗口，与恢复到所述时间窗口内的所述历史清除数据进行聚合，完成对乱序数据的处理。

2.如权利要求1所述的乱序数据处理方法，其特征在于，所述基于所述预设流处理框架将所述待处理数据分配到所述时间窗口，与恢复到所述时间窗口内的所述历史清除数据进行聚合的步骤包括：

基于所述预设流处理框架将所述待处理数据分配到所述时间窗口，并对所述时间窗口添加延时时长；

判断所述延时时长内是否读取到目标待处理数据，其中，所述目标待处理数据的生成时间与所述时间窗口匹配；

若读取到所述目标待处理数据，将所述目标待处理数据分配到所述时间窗口，并在所述延时时长结束后，对所述时间窗口内的各个数据进行聚合。

3.如权利要求1所述的乱序数据处理方法，其特征在于，所述判断与所述待处理数据的生成时间匹配的时间窗口是否处于清除状态的步骤之后，所述方法还包括：

若与所述待处理数据的生成时间匹配的时间窗口处于未清除状态，则将所述待处理数据分配到所述时间窗口，并判断所述待处理数据的生成时间是否达到所述时间窗口的水位线；

若达到所述时间窗口的水位线，则对所述时间窗口内的各个数据进行聚合处理，生成处理结果存储到预设数据库。

4.如权利要求3所述的乱序数据处理方法，其特征在于，所述生成处理结果存储到预设数据库的步骤之后，所述方法还包括：

将所述时间窗口内的所有数据传输到所述预设数据库缓存，并在缓存成功后，清除所述时间窗口内的所有数据；

调整所述时间窗口的水位线，以读取所述消息队列中新的待处理数据进行聚合处理。

5.如权利要求4所述的乱序数据处理方法，其特征在于，所述将所述时间窗口内的所有数据传输到所述预设数据库缓存的步骤之后，所述方法还包括：

当检测到达所述预设数据库的清理时间时，查找所述预设数据库缓存的各项数据中的待删除数据，并对所述待删除数据进行删除操作。

6.如权利要求1-5任一项所述的乱序数据处理方法，其特征在于，所述判断与所述待处理数据的生成时间匹配的时间窗口是否处于清除状态的步骤包括：

读取处于激活状态的当前时间窗口的窗口时间区间，并判断所述待处理数据的生成时间是否位于所述窗口时间区间内；

若位于所述窗口时间区间内，则判定与所述待处理数据的生成时间匹配的时间窗口处于未清除状态；

若不位于所述窗口时间区间内，则判定与所述待处理数据的生成时间匹配的时间窗口处于清除状态。

7.如权利要求1-5任一项所述的乱序数据处理方法，其特征在于，所述基于预设流处理框架从消息队列中读取待处理数据的步骤包括：

基于预设流处理框架从消息队列中读取单条数据，并调用预设函数从所述单条数据中提取出与预设字段对应的数据；

将与预设字段对应的数据确定为所述待处理数据。

8.一种乱序数据处理装置，其特征在于，所述乱序数据处理装置包括：

判断模块，用于基于预设流处理框架从消息队列中读取待处理数据，并判断与所述待处理数据的生成时间匹配的时间窗口是否处于清除状态；

恢复模块，用于若处于清除状态，则判定所述待处理数据为乱序数据，基于所述预设流处理框架重新形成所述时间窗口，并读取与所述时间窗口对应的历史清除数据，将所述历史清除数据恢复到所述时间窗口；

聚合模块，用于基于所述预设流处理框架将所述待处理数据分配到所述时间窗口，与恢复到所述时间窗口内的所述历史清除数据进行聚合，完成对乱序数据的处理。