[发明专利]日志数据处理方法、装置、系统、电子设备及存储介质

权利要求书

1.一种日志数据处理方法，其特征在于，包括以下步骤：

获取业务实体针对实时日志的第一处理结果，所述第一处理结果为流式化处理所得结果；

判断所述第一处理结果是否满足预设的完整度条件；

若所述第一处理结果不满足所述预设的完整度条件，则获取离线日志；

将所述离线日志进行流式化，并输入到业务实体进行流式化处理，得到第二处理结果。

2.如权利要求1所述的方法，其特征在于，所述若所述第一处理结果不满足所述预设的完整度条件，则获取离线日志，包括：

若所述第一处理结果不满足所述预设的完整度条件，则提取与所述实时日志对应的数据源信息；

根据所述实时日志对应的数据源信息，在数据源中获取离线日志。

3.如权利要求1所述的方法，其特征在于，所述根据所述实时日志对应的数据源信息，在数据源中获取离线日志，包括：

在获取离线日志之前，判断所述离线日志在所述数据源中是否准备完成；

若所述离线日志准备完成，则在数据源中获取离线日志；

若所述离线日志没有准备完成，则在预设时间后，再次在数据源中获取离线日志。

4.如权利要求1所述的方法，其特征在于，所述将所述离线日志进行流式化，并输入到业务实体进行流式化处理，得到第二处理结果包括：

将所述离线日志发送到流式日志存储系统，通过所述流式日志存储系统对所述离线日志进行流式化并存储，得到用于输入到业务实体的流式离线日志；

将所述流式离线日志输入到业务实体进行流式化处理，得到第二处理结果。

5.一种日志数据处理装置，其特征在于，所述装置包括：

第一获取模块，用于获取业务实体针对实时日志的第一处理结果，所述第一处理结果为流式化处理所得结果；

判断模块，用于判断所述第一处理结果是否满足预设的完整度条件；

第二获取模块，用于若所述第一处理结果不满足所述预设的完整度条件，则获取离线日志；

处理模块，用于将所述离线日志进行流式化，并输入到业务实体进行流式化处理，得到第二处理结果。

6.如权利要求5所述的装置，其特征在于，所述第二获取模块包括：

提取单元，用于若所述第一处理结果不满足所述预设的完整度条件，则提取与所述实时日志对应的数据源信息；

获取单元，用于根据所述实时日志的数据源信息，在数据源中获取离线日志。

7.如权利要求6所述的装置，其特征在于，所述获取单元包括：

判断子单元，用于在获取离线日志之前，判断所述离线日志在所述数据源中是否准备完成；

第一获取子单元，用于若所述离线日志准备完成，则在数据源中获取离线日志；

第二获取子单元，用于若所述离线日志没有准备完成，则在预设时间后，再次在数据源中获取离线日志。

8.如权利要求5所述的装置，其特征在于，所述处理模块包括：

传输单元，用于将所述离线日志发送到流式日志存储系统，通过所述流式日志存储系统对所述离线日志进行流式化并存储，得到用于输入到业务实体的流式离线日志；

处理单元，用于将所述流式离线日志输入到业务实体进行流式化处理，得到第二处理结果。

9.一种日志数据处理系统，其特征在于，所述系统包括：数据源端、流式日志存储系统、业务实体以及如权利要求5至8中任一所述的日志数据处理装置；

其中，所述数据源端用于供应实时日志或离线日志；

所述流式日志存储系统用于将所述数据源端供应的实时日志或离线日志进行流式化并存储；

所述业务实体用于对流式化后的实时日志或流式化后的离线日志进行流式化处理。

10.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至4中任一项所述的日志数据处理方法中的步骤。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4中任一项所述的日志数据处理方法中的步骤。