[发明专利]一种流式数据处理方法及装置

权利要求书

1.一种流式数据处理方法，其特征在于，所述方法应用于流式计算系统，所述流式计算系统包括主程序和补数程序，当执行所述主程序时，对实时数据进行处理，当执行所述补数程序时对历史数据进行处理，该方法包括：

响应于所述主程序启动，记录所述主程序处理的所有实时数据对应的时间段，所述主程序启动表征所述流式计算系统进入正常数据处理状态；

通过所述补数程序对所述实时数据对应的时间段进行扫描，确定补数时间段；

对所述补数时间段内的数据进行批次拆分，得到目标批次；

依据每个批次的数据在消息中间件的消息偏移量，计算所述目标批次对应的批次时间段内的目标消息偏移量；

根据所述目标消息偏移量确定目标历史数据，控制所述补数程序对所述目标历史数据进行处理，得到第一数据处理结果；

根据所述主程序对实时数据处理得到的第二数据处理结果和所述第一数据处理结果，生成数据流式处理结果。

2.根据权利要求1所述的方法，其特征在于，所述记录所述主程序处理的所有实时数据对应的时间段，包括：

控制所述主程序运行，使得所述主程序查找上一次成功处理的数据的批次时间，并记录再次启动时实时数据对应的处理时间段内每个批次的数据的起始消息和结束消息在消息中间件的消息偏移量；

将所述消息偏移量存储到预创建的数据表。

3.根据权利要求1所述的方法，其特征在于，所述通过所述补数程序对所述历史数据对应的时间段进行扫描，确定补数时间段，包括：

获取所述历史数据对应的时间段的各个批次数据对应的处理时间；

判断相邻两个批次的处理时间是否超过预设时间阈值，如果是，且下一批次的数据不在目标状态，将所述相邻两个批次的时间段确定为补数时间段；所述目标状态为补数中或者补数完成。

4.根据权利要求3所述的方法，其特征在于，所述根据所述目标消息偏移量确定目标历史数据，控制所述补数程序对所述目标历史数据进行处理，得到第一数据处理结果，包括：

若所述目标频次包括多个批次数据，则控制所述补数程序启动多线程并发处理模式，对所述目标历史数据进行处理，得到第一数据处理结果。

5.根据权利要求1所述的方法，其特征在于，所述对所述补数时间段内的数据进行批次拆分，得到目标批次，包括：

对所述补数时间段内的数据进行批次拆分，得到目标批次；

获取各个所述目标批次对应的批次时间段，使得执行所述补数程序在所述批次时间段内对与之对应的目标批次的数据进行处理。

6.一种流式数据处理装置，其特征在于，所述装置应用于流式计算系统，所述流式计算系统包括主程序和补数程序，当执行所述主程序时，对实时数据进行处理，当执行所述补数程序时对历史数据进行处理，该装置包括：

获取单元，用于响应于所述主程序启动，记录所述主程序处理的所有实时数据对应的时间段，所述主程序启动表征所述流式计算系统进入正常数据处理状态；

扫描单元，用于通过所述补数程序对所述实时数据对应的时间段进行扫描，确定补数时间段；

拆分单元，用于对所述补数时间段内的数据进行批次拆分，得到目标批次；

计算单元，用于依据每个批次的数据在消息中间件的消息偏移量，计算所述目标批次对应的批次时间段内的目标消息偏移量；

控制单元，用于根据所述目标消息偏移量确定目标历史数据，控制所述补数程序对所述目标历史数据进行处理，得到第一数据处理结果；

生成单元，用于根据所述主程序对实时数据处理得到的第二数据处理结果和所述第一数据处理结果，生成数据流式处理结果。

7.根据权利要求6所述的装置，其特征在于，所述获取单元包括：

第一控制子单元，用于控制所述主程序运行，使得所述主程序查找上一次成功处理的数据的批次时间，并记录再次启动时实时数据对应的处理时间段内每个批次的数据的起始消息和结束消息在消息中间件的消息偏移量；

存储子单元，用于将所述消息偏移量存储到预创建的数据表。