[发明专利]流数据回溯方法、装置、电子设备及存储介质

说明书

本发明实施例公开了一种流数据回溯方法、装置、电子设备及存储介质。其中，该方法包括：将获取到的流数据放入消息队列，并对流数据添加时间顺序标签；根据流数据的时间顺序标签，确定流数据的偏移量信息；从消息队列中确定待迁移流数据，并根据待迁移流数据确定增量数据文件；其中，增量数据文件用于记录待迁移流数据；根据增量数据文件的存储路径，对待迁移流数据的偏移量信息进行更新，确定待迁移流数据的更新偏移量信息；根据更新偏移量信息和消息队列中剩余流数据的未更新偏移量信息，确定待回溯流数据。本技术方案，能够有效支持大规模流数据回溯，提高了流数据回溯质量，能够更好地满足实际应用中对大规模流数据的回溯需求。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种流数据回溯方法、装置、电子设备及存储介质。

背景技术

随着大数据时代的到来，企业对数据处理时效性要求越来越高，越来越多的场景采用实时流处理方式来提高数据处理时效。其中，流处理是指一种专门针对流数据的处理加工方式。在生产测试环境下，通常需要更加一定历史期间的流数据进行回溯处理，以解决流数据异常等问题。由于流数据具有突发、无序乱序、规模庞大等特点，往往不容易进行流数据回溯。在实时流处理方式中，数据不落地，即来即处理，通常不存储实时流数据。在这种情况下，无法支持大规模流数据回溯，因而流数据的回溯质量较差，无法满足实际应用中对大规模流数据的回溯需求。

发明内容

本发明提供了一种流数据回溯方法、装置、电子设备及存储介质，能够有效支持大规模流数据回溯，提高了流数据回溯质量，能够更好地满足实际应用中对大规模流数据的回溯需求。

根据本发明的一方面，提供了一种流数据回溯方法，所述方法包括：

将获取到的流数据放入消息队列，并对所述流数据添加时间顺序标签；其中，所述时间顺序标签用于表征所述流数据的获取顺序；

根据所述流数据的时间顺序标签，确定所述流数据的偏移量信息；其中，所述偏移量信息用于描述与流数据获取时间对应的时间顺序标签；

从所述消息队列中确定待迁移流数据，并根据所述待迁移流数据确定增量数据文件；其中，所述增量数据文件用于记录所述待迁移流数据；

根据所述增量数据文件的存储路径，对所述待迁移流数据的偏移量信息进行更新，确定所述待迁移流数据的更新偏移量信息；

根据所述更新偏移量信息和所述消息队列中剩余流数据的未更新偏移量信息，确定待回溯流数据。

根据本发明的另一方面，提供了一种流数据回溯装置，包括：

时间顺序标签添加模块，用于将获取到的流数据放入消息队列，并对所述流数据添加时间顺序标签；其中，所述时间顺序标签用于表征所述流数据的获取顺序；

偏移量信息确定模块，用于根据所述流数据的时间顺序标签，确定所述流数据的偏移量信息；其中，所述偏移量信息用于描述与流数据获取时间对应的时间顺序标签；

增量数据文件确定模块，用于从所述消息队列中确定待迁移流数据，并根据所述待迁移流数据确定增量数据文件；其中，所述增量数据文件用于记录所述待迁移流数据；

更新偏移量信息确定模块，用于根据所述增量数据文件的存储路径，对所述待迁移流数据的偏移量信息进行更新，确定所述待迁移流数据的更新偏移量信息；

待回溯流数据确定模块，用于根据所述更新偏移量信息和所述消息队列中剩余流数据的未更新偏移量信息，确定待回溯流数据。

根据本发明的另一方面，提供了一种流数据回溯电子设备，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，