[发明专利]日志数据处理方法、装置、系统、电子设备及存储介质

说明书

本发明实施例提供一种日志数据处理方法、装置、系统、电子设备及存储介质，所述方法包括：获取业务实体针对实时日志的第一处理结果，第一处理结果为流式化处理所得结果；判断第一处理结果是否满足预设的完整度条件；若所述第一处理结果不满足所述预设的完整度条件，则获取离线日志；将所述离线日志进行流式化，并输入到业务实体进行流式化处理，得到第二处理结果。通过在实时日志的第一处理结果不完整时，获取更为完整的离线数据到业务实体中进行处理，从而提高日志数据的计量计算结果的准确度；另外，由于离线日志在进入业务实体之前，会先进行流式化，使得业务实体对日志的类型没有感知，从而使离线日志可以和实时日志进行相同的流式化处理。

技术领域

本发明涉及数据处理领域，尤其涉及一种日志数据处理方法、装置、系统、电子设备及存储介质。

背景技术

随着互联网的不断发展，需要传输的数据越来越大，数据传输的速度和稳定性存在瓶颈，且环节较多。内容分发网络(Content Ddistribute Network，简称CDN)可以尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节，使内容传输的更快、更稳定，通过在网络各处放置节点服务器所构成的在现有的互联网基础之上的一层智能虚拟网络，CDN系统能够实时地根据网络流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户的请求重新导向离用户最近的服务节点上。融合CDN是将多个CDN的厂商的数据进行融合，能够打破单个CDN厂商的节点资源以及调度能力，突破地域时间以及不同运营商的限制。融合cdn访问日志通常包含实时日志和离线日志，这两种日志都可以用于计量计算，基于实时日志的流式计算提供低延迟的计量数据，基于离线日志的批计算提供更高完整的计量数据。由于实时日志的完整度无法保证，基于实时日志的计量数据，往往存在日志不完整的问题，从而导致计量计算结果的准确度不高。

发明内容

本发明实施例提供一种日志数据处理方法，能够在实时日志的完整度不高时，获取更高完整度的离线数据来进行流式化处理，从而提高日志数据的计量计算结果的准确度。

第一方面，本发明实施例提供一种日志数据处理方法，包括：

获取业务实体针对实时日志的第一处理结果，所述第一处理结果为流式化处理所得结果；

判断所述第一处理结果是否满足预设的完整度条件；

若所述第一处理结果不满足所述预设的完整度条件，则获取离线日志；

将所述离线日志进行流式化，并输入到业务实体进行流式化处理，得到第二处理结果。

可选的，所述若所述第一处理结果不满足所述预设的完整度条件，则获取离线日志，包括：

若所述第一处理结果不满足所述预设的完整度条件，则提取与所述实时日志对应的数据源信息；

根据所述实时日志对应的数据源信息，在数据源中获取离线日志。

可选的，所述根据所述实时日志对应的数据源信息，在数据源中获取离线日志，包括：

在获取离线日志之前，判断所述离线日志在所述数据源中是否准备完成；

若所述离线日志准备完成，则在数据源中获取离线日志；

若所述离线日志没有准备完成，则在预设时间后，再次在数据源中获取离线日志。

可选的，所述将所述离线日志进行流式化，并输入到业务实体进行流式化处理，得到第二处理结果包括：

将所述离线日志发送到流式日志存储系统，通过所述流式日志存储系统对所述离线日志进行流式化并存储，得到用于输入到业务实体的流式离线日志；

将所述流式离线日志输入到业务实体进行流式化处理，得到第二处理结果。