[发明专利]一种数据流处理方法、装置、设备及可读存储介质

说明书

本申请公开了一种数据流处理方法、装置、设备及可读存储介质，该方法包括：对数据流和配置流进行异步加载；判断与已加载完毕的目标数据流具有关联关系的目标配置流是否加载完毕；如果否，则将目标数据流的数据对象存入生命周期缓存映射表，并在确定目标配置流加载完毕后，利用目标配置流对目标数据流进行配置；如果是，则利用目标配置流对目标数据流进行配置。在本申请中，借助缓存技术来解决flink的双流异步加载下数据流先于配置流达到处理系统的数据乱序问题，可以实现数据流开始处理时配置流已加载完毕的正确顺序效果。

技术领域

本申请涉及计算机应用技术领域，特别是涉及一种数据流处理方法、装置、设备及可读存储介质。

背景技术

Flink(一种开源流处理框架)加载数据流和广播的配置流时，两者是异步加载机制，这样便导致在flink的内部数据处理系统中数据流的数据和配置流的数据加载顺序存在时间上的乱序问题。因为数据流在加载后需要即时读取到配置流的配置数据来完成对数据流数据的富化转换，该需求约束下需要正常的数据加载顺序是配置流加载先于数据流加载。

但是，在flink的双流异步加载机制下不能完全保证该顺序，且很大概率会出现flink app(基于开源流处理框架的应用)在刚启动时数据流先于配置流达到处理系统而引起数据乱序。该问题将会导致app在刚启动的一小段时间内，数据流不能被配置富化，而引起数据处于异常状态。

综上所述，如何有效地解决数据流与配置流时间乱序等问题，是目前本领域技术人员急需解决的技术问题。

发明内容

本申请的目的是提供一种数据流处理方法、装置、设备及可读存储介质，借助缓存技术来解决flink的双流异步加载下数据流先于配置流达到处理系统的数据乱序问题，可以实现数据流开始处理时配置流已加载完毕的正确顺序效果。

为解决上述技术问题，本申请提供如下技术方案：

一种数据流处理方法，包括：

对数据流和配置流进行异步加载；

判断与已加载完毕的目标数据流具有关联关系的目标配置流是否加载完毕；

如果否，则将所述目标数据流的数据对象存入生命周期缓存映射表，并在确定所述目标配置流加载完毕后，利用所述目标配置流对所述目标数据流进行配置；

如果是，则利用所述目标配置流对所述目标数据流进行配置。

优选地，所述判断与已加载完毕的目标数据流具有关联关系的目标配置流是否加载完毕，包括：

从只读上下文中获取只读广播状态对象是否为空；

如果是，则判断所述只读广播状态对象的配置集是否加载了所需配置维数的数据；

若已加载，则确定所述目标配置流已加载完毕。

优选地，将所述目标数据流的数据对象存入生命周期缓存映射表，包括：

判断所述生命周期缓存映射表是否已达到缓存阈值；

如果否，则将所述数据对象放入所述生命周期缓存映射表，并为所述数据对象设置生命周期。

优选地，还包括：

遍历所述生命周期缓存映射表，找出超过所述生命周期的目标数据对象；

清理所述目标数据对象。

优选地，遍历所述生命周期缓存映射表，找出超过所述生命周期的目标数据对象，包括：

遍历所述生命周期缓存映射表，获取各个数据对象的缓存时间；

将所述缓存时间与当前系统时间的差值大于对应的生命周期的数据对象确定为所述目标数据对象。