[发明专利]乱序数据处理方法、装置、设备及可读存储介质

说明书

本发明公开了一种乱序数据处理方法、装置、设备及可读存储介质，该方法包括：基于预设流处理框架从消息队列中读取待处理数据，并判断与待处理数据的生成时间匹配的时间窗口是否处于清除状态；若处于清除状态，则判定待处理数据为乱序数据，基于预设流处理框架重新形成时间窗口，并读取与时间窗口对应的历史清除数据，将所述清除数据恢复到所述时间窗口；基于预设流处理框架将待处理数据分配到时间窗口，与恢复到时间窗口内的历史清除数据进行聚合，完成对乱序数据的处理。本发明通过将历史清除数据恢复到时间窗口，并将确定为乱序数据的待处理数据分配到时间窗口，与恢复的历史清除数据进行聚合，确保了实时计算过程中数据的全面准确统计。

技术领域

本发明涉及金融科技(Fintech)技术领域，尤其涉及一种乱序数据处理方法、装置、设备及可读存储介质。

背景技术

随着金融科技(Fintech)，尤其是互联网科技金融的不断发展，越来越多的技术(如人工智能、大数据、云存储等)应用在金融领域，但金融领域也对各类技术提出了更高的要求，如要求实时计算过程中对大量数据的准确统计等。

当前实时计算的场景中，数据乱序是很常见的问题，乱序数据的处理准确，对数据统计的准确性有重大影响。而Flink框架因高效的处理特性而广泛应用于实时计算场景中，其将数据分配到窗口，通过窗口的状态管理来实现数据统计。但是Flink框架对于乱序数据，会进行丢弃，如此一来，导致所统计的数据具有不准确性。

因此，如何依赖Flink框架对实时计算过程中的乱序数据进行准确统计是当前亟待解决的技术问题。

发明内容

本发明的主要目的在于提供一种乱序数据处理方法、装置、设备及可读存储介质，旨在解决现有技术中如何依赖Flink框架对实时计算过程中的乱序数据进行准确统计的技术问题。

为实现上述目的，本发明提供一种乱序数据处理方法，所述乱序数据处理方法包括以下步骤：

基于预设流处理框架从消息队列中读取待处理数据，并判断与所述待处理数据的生成时间匹配的时间窗口是否处于清除状态；

若处于清除状态，则判定所述待处理数据为乱序数据，基于所述预设流处理框架重新形成所述时间窗口，并读取与所述时间窗口对应的历史清除数据，将所述历史清除数据恢复到所述时间窗口；

基于所述预设流处理框架将所述待处理数据分配到所述时间窗口，与恢复到所述时间窗口内的所述历史清除数据进行聚合，完成对乱序数据的处理。

可选地，所述基于所述预设流处理框架将所述待处理数据分配到所述时间窗口，与恢复到所述时间窗口内的所述历史清除数据进行聚合的步骤包括：

基于所述预设流处理框架将所述待处理数据分配到所述时间窗口，并对所述时间窗口添加延时时长；

判断所述延时时长内是否读取到目标待处理数据，其中，所述目标待处理数据的生成时间与所述时间窗口匹配；

若读取到所述目标待处理数据，将所述目标待处理数据分配到所述时间窗口，并在所述延时时长结束后，对所述时间窗口内的各个数据进行聚合。

可选地，所述判断与所述待处理数据的生成时间匹配的时间窗口是否处于清除状态的步骤之后，所述方法还包括：

若与所述待处理数据的生成时间匹配的时间窗口处于未清除状态，则将所述待处理数据分配到所述时间窗口，并判断所述待处理数据的生成时间是否达到所述时间窗口的水位线；

若达到所述时间窗口的水位线，则对所述时间窗口内的各个数据进行聚合处理，生成处理结果存储到预设数据库。

可选地，所述生成处理结果存储到预设数据库的步骤之后，所述方法还包括：