[发明专利]流数据回溯方法、装置、电子设备及存储介质

权利要求书

1.一种流数据回溯方法，其特征在于，所述方法包括：

将获取到的流数据放入消息队列，并对所述流数据添加时间顺序标签；其中，所述时间顺序标签用于表征所述流数据的获取顺序；

根据所述流数据的时间顺序标签，确定所述流数据的偏移量信息；其中，所述偏移量信息用于描述与流数据获取时间对应的时间顺序标签；

从所述消息队列中确定待迁移流数据，并根据所述待迁移流数据确定增量数据文件；其中，所述增量数据文件用于记录所述待迁移流数据；

根据所述增量数据文件的存储路径，对所述待迁移流数据的偏移量信息进行更新，确定所述待迁移流数据的更新偏移量信息；

根据所述更新偏移量信息和所述消息队列中剩余流数据的未更新偏移量信息，确定待回溯流数据。

2.根据权利要求1所述的方法，其特征在于，根据所述流数据的时间顺序标签，确定所述流数据的偏移量信息，包括：

基于预设时间间隔，从所述消息队列中获取所述时间顺序标签最大的流数据作为候选流数据；

根据所述候选流数据的获取时间以及所述候选流数据的时间顺序标签，确定所述候选流数据的候选偏移量信息。

3.根据权利要求2所述的方法，其特征在于，从所述消息队列中确定待迁移流数据，并根据所述待迁移流数据确定增量数据文件，包括：

基于预设过期时间从所述消息队列中确定待迁移流数据；

根据所述候选偏移量信息确定所述待迁移流数据的偏移量信息；

根据所述待迁移流数据的偏移量信息确定增量数据文件。

4.根据权利要求3所述的方法，其特征在于，根据所述待迁移流数据的偏移量信息确定增量数据文件，包括：

根据所述待迁移流数据的偏移量信息中的流数据获取时间，对所述待迁移流数据的偏移量信息进行排序；

基于排序结果，根据在前偏移量信息对应的待迁移流数据，以及与所述在前偏移量信息相邻的在后偏移量信息对应的待迁移流数据之前的待迁移流数据，确定所述在前偏移量信息对应的增量数据文件。

5.根据权利要求1或4所述的方法，其特征在于，根据所述增量数据文件的存储路径，对所述待迁移流数据的偏移量信息进行更新，包括：

令所述待迁移流数据的偏移量信息中的流数据获取时间保持不变，同时将所述待迁移流数据的偏移量信息中的时间顺序标签，替换为所述增量数据文件的存储路径，以对所述待迁移流数据的偏移量信息进行更新。

6.根据权利要求5所述的方法，其特征在于，根据所述更新偏移量信息和所述消息队列中剩余流数据的未更新偏移量信息，确定待回溯流数据，包括：

根据所述更新偏移量信息中的流数据获取时间，以及所述未更新偏移量信息中的流数据获取时间，对待回溯流数据的回溯时间进行匹配；

根据匹配结果确定所述待回溯流数据的目标偏移量信息；

根据所述目标偏移量信息确定所述待回溯流数据。

7.根据权利要求6所述的方法，其特征在于，根据所述目标偏移量信息确定所述待回溯流数据，包括：

若所述目标偏移量信息为更新偏移量信息，根据所述目标偏移量信息确定目标增量数据文件，根据所述目标增量数据文件确定待回溯流数据；

若所述目标偏移量信息为未更新偏移量信息，根据所述目标偏移量信息从消息队列中确定目标流数据，根据所述目标流数据确定待回溯流数据。

若所述目标偏移量信息同时包括更新偏移量信息和未更新偏移量信息，根据所述目标偏移量信息中的更新偏移量信息确定目标增量数据文件，根据所述目标增量数据文件确定待回溯流数据，以及根据所述目标偏移量信息中的未更新偏移量信息从消息队列中确定目标流数据，根据所述目标流数据确定待回溯流数据。