[发明专利]一种实时数据的乱序修复系统、方法及计算机设备

权利要求书

1.一种实时数据的乱序修复系统，其特征在于，所述系统包括实时数据处理引擎、时序数据库、乱序回补任务提交器、批处理引擎和数据漏，其中，所述实时数据处理引擎包括第一解码器、乱序侦测器和第一处理器，所述批处理引擎包括第二解码器和第二处理器；

所述第一解码器用于将原始数据序列解码为参考数据序列，将所述参考数据序列发送至所述乱序侦测器，以及将所述原始数据序列中各原始数据发送至所述时序数据库，其中，所述原始数据序列中的各原始数据按照对应的处理时间升序排列，各原始数据的处理时间和事件时间传递至所述参考数据序列中对应的各参考数据；

所述时序数据库用于以各所述事件时间为索引，将对应的各原始数据进行存储；所述乱序侦测器用于基于各所述处理时间和各所述事件时间判断所述参考数据序列中存在乱序数据时，识别所述参考数据序列中的乱序区间并将所述乱序区间发送至所述乱序回补任务提交器，以及删除所述乱序区间对应的所述乱序数据，得到第一数据序列并通过所述第一处理器幂等写入所述数据漏；

所述乱序回补任务提交器用于触发所述第二解码器以将所述时序数据库中所述乱序区间对应的原始数据解码为第二数据序列，并通过所述第二处理器幂等写入所述数据漏；所述数据漏基于所述第一数据序列和所述第二数据序列得到修复后的目标数据序列，其中，目标数据序列中各目标数据按对应的所述事件时间的数值大小进行排序；

所述乱序侦测器具体用于：

判断所述参考数据序列中第N个参考数据对应的事件时间是否大于第(N-1)个参考数据对应的事件时间，其中N为正整数，N≥2；

若所述参考数据序列中第N个参考数据对应的事件时间小于第(N-1)个参考数据对应的事件时间，判定所述参考数据序列发生乱序并将所述第N个参考数据确定为所述乱序数据；

若所述参考数据序列中第N个参考数据对应的事件时间大于第（N-1）个参考数据对应的事件时间，判定所述参考数据序列未发生乱序并将所述第N个参考数据确定为顺序数据；

所述乱序侦测器具体还用于：

将所述参考数据序列中，连续的M个所述乱序数据对应的事件时间确定为预设区间，其中M为正整数，M≥1；

若所述参考数据序列中的所述预设区间的数量为一个，或，所述参考数据序列中的所述预设区间的数量至少为两个且相邻两个所述预设区间之间的所述顺序数据的数量超过预设阈值，将所述预设区间确定为所述乱序区间；

若所述参考数据序列中的所述预设区间的数量至少为两个，且相邻两个所述预设区间之间的所述顺序数据的数量未超过所述预设阈值，将相邻两个所述预设区间以及相邻两个所述预设区间之间的所述顺序数据合并为所述乱序区间，其中，选取相邻两个所述预设区间中次序在前的所述预设区间中起点对应的事件时间为所述乱序区间的起点，选取相邻两个所述预设区间中次序在后的所述预设区间中终点对应的事件时间为所述乱序区间的终点。

2.根据权利要求1所述的实时数据的乱序修复系统，其特征在于，所述实时数据的乱序修复系统还包括消息中间件，所述乱序侦测器通过所述消息中间件与所述第二解码器通信连接；

所述消息中间件用于接收所述乱序侦测器发送的所述乱序区间，并将所述乱序区间发送至所述乱序回补任务提交器；

所述乱序回补任务提交器用于生成对应所述乱序区间的批处理任务，其中，所述批处理任务用于指示所述第二解码器以将所述时序数据库中所述乱序区间对应的原始数据解码为第二数据序列，并通过所述第二处理器幂等写入所述数据漏。