[发明专利]一种实时数据的乱序修复系统、方法及计算机设备

说明书

本申请提供一种实时数据的乱序修复系统、方法及计算机设备。该系统包括实时数据处理引擎、时序数据库、乱序回补任务提交器、批处理引擎和数据漏，实时数据处理引擎包括第一解码器、乱序侦测器和第一处理器，批处理引擎包括第二解码器和第二处理器。本申请可以识别参考数据序列中的乱序区间并删除乱序区间对应的乱序数据，得到第一数据序列并幂等写入数据漏。将时序数据库中乱序区间对应的原始数据解码为第二数据序列，并通过第二处理器幂等写入数据漏，使得数据漏基于第一数据序列和第二数据序列得到修复后的目标数据序列。本申请可以有效地侦测实时数据中是否存在乱序数据，并对乱序区间内的数据进行回补修复。

技术领域

本申请涉及计算机技术领域，尤其涉及一种实时数据的乱序修复系统、方法及计算机设备。

背景技术

对实时数据处理的过程中，有两个重要的参数用于表征数据是否发生乱序，即处理时间和事件时间。其中，处理时间是指数据到达实时处理引擎端进行处理时的实际系统时间，事件时间是指数据在数据源测生成时，通过数据内部字段声明的数据生成时间。通常情况下，数据的处理时间和事件时间相差不大，数据乱序是指实时处理引擎先处理的数据对应的事件时间大于后处理的数据对应的事件时间。

现有技术是通过微批处理解决上述数据乱序的问题。具体地，通过聚合一个时间窗口内的数据，对时间窗口内部的数据按照其事件时间进行排序，直接聚合或输出到下游节点，其中，时间窗口可以类似理解为一个时间段。现有技术能够容忍在时间窗口内的乱序，在一定程度上权衡了实时性和正确性，但是对于超出时间窗口配置的乱序不能进行修复，具有较大的局限性。

发明内容

为了解决上述技术问题，本申请提供了一种实时数据的乱序修复系统、方法及计算机设备，具体方案如下：

第一方面，本申请实施例提供了一种实时数据的乱序修复系统，所述实时数据的乱序修复系统包括实时数据处理引擎、时序数据库、乱序回补任务提交器、批处理引擎和数据漏，其中，所述实时数据处理引擎包括第一解码器、乱序侦测器和第一处理器，所述批处理引擎包括第二解码器和第二处理器；

所述第一解码器用于将原始数据序列解码为参考数据序列，将所述参考数据序列发送至所述乱序侦测器，以及将所述原始数据序列中各所述原始数据发送至所述时序数据库，其中，所述原始数据序列中的各原始数据按照对应的处理时间升序排列，各原始数据的处理时间和事件时间传递至所述参考数据序列中对应的各参考数据；

所述时序数据库用于以各所述事件时间为索引，将对应的各所述原始数据进行存储；所述乱序侦测器用于基于各所述处理时间和各所述事件时间判断所述参考数据序列中存在乱序数据时，识别所述参考数据序列中的乱序区间并将所述乱序区间发送至所述乱序回补任务提交器，以及删除所述乱序区间对应的所述乱序数据，得到第一数据序列并通过所述第一处理器幂等写入所述数据漏；

所述乱序回补任务提交器用于触发所述第二解码器以将所述时序数据库中所述乱序区间对应的原始数据解码为第二数据序列，并通过所述第二处理器幂等写入所述数据漏；所述数据漏基于所述第一数据序列和所述第二数据序列得到修复后的目标数据序列，其中，目标数据序列中各目标数据按对应的所述事件时间的数值大小进行排序。

根据本申请公开的一种具体实施方式，所述乱序侦测器具体用于：

判断所述参考数据序列中第N个参考数据对应的事件时间是否大于第(N-1)个参考数据对应的事件时间，其中N为正整数，N≥2；

若所述参考数据序列中第N个参考数据对应的事件时间小于第(N-1)个参考数据对应的事件时间，判定所述参考数据序列发生乱序并将所述第N个参考数据确定为所述乱序数据；

若所述参考数据序列中第N个参考数据对应的事件时间大于第（N-1）个参考数据对应的事件时间，判定所述参考数据序列未发生乱序并将所述第N个参考数据确定为顺序数据。

根据本申请公开的一种具体实施方式，所述乱序侦测器具体用于：