[发明专利]一种数据乱序到达处理方法和系统

摘要

本发明公开了一种数据乱序到达处理方法和系统。方法包括以下步骤：提取当前时间窗口字段，将时间窗口字段处理成日期类型数据；判断用户流数据是否存在指定时间窗口字段，并做相应地处理；标记时间分片字段所在的时间窗口字段，并从Redis存储库中提取在该时间窗口字段之前的数据集；判断标记的时间窗口字段的时间分片数据是否在提取的数据集中，并做相应地处理；存储用户流数据到Redis存储库中，更新Redis存储库；系统包括数据处理模块、第一判断模块、标记模块、第二判断模块和Redis存储库模块。本发明解决了实时流数据的乱序到达的问题，尤其适用于解决数据源并非序列化的场景，提升了数据的有效性和时序性。

主权项

1.一种数据乱序到达处理方法，其特征在于，它包括以下步骤：S103：提取当前时间窗口字段，将时间窗口字段处理成日期类型数据；S104：判断用户流数据是否存在指定时间窗口字段，（1）如果用户流数据没有指定时间窗口字段，则使用当前时间作为时间分片字段；（2）如果用户流数据有指定时间窗口字段，且指定的时间窗口字段不在合法窗口内，则丢弃该字段并记录日志，将日志作为时间分片字段；（3）如果用户流数据有指定时间窗口字段，且指定的时间窗口字段在合法窗口内，则使用该字段作为该条用户流数据的时间分片字段；S105：标记步骤S4中得到的时间分片字段所在的时间窗口字段，并从Redis存储库中提取在该时间窗口字段之前的数据集；S106：判断标记的时间窗口字段的时间分片数据是否在步骤S5中提取的数据集中，（1）如果所述的时间分片数据在数据集中，则将所述的时间分片数据与数据集合并，并将合并后的数据重新存储到Redis存储库中；（2）如果所述的时间分片数据不在数据集中，则对所述的时间分片数据新建数据表单，并将新建数据表单添加到Redis存储库中；S107：存储该条用户流数据到Redis存储库中，更新Redis存储库。