[发明专利]日志数据解析方法、装置、电子装置和存储介质

说明书

本申请涉及一种日志数据解析方法、装置、电子装置和存储介质，该方法包括：获取待解析的日志数据，并对待解析的日志数据进行预处理，得到第一日志数据，其中，预处理至少包括结构化处理；根据预设提取规则从第一日志数据中提取目标日志数据，并根据提取目标日志数据的提取结果，确定预设管道工作流的解析数据源，其中，解析数据源包括目标日志数据和第一日志数据其中之一；在预设管道工作流中按照预设解析规则对解析数据源进行解析，得到解析结果。通过本申请，解决了相关技术中日志数据的解析过程复杂的问题，实现了简化日志数据的解析过程的技术效果。

技术领域

本申请涉及数据处理技术领域，特别是涉及一种日志数据解析方法、装置、电子装置和存储介质。

背景技术

日志数据一般用于记录程序运行信息，从而使开发者方便开发调试，了解生产环境执行情况，并且开发者通过分析日志数据能够依据解析结果对程序进行调试，另外，开发者也能够基于日志数据进行数据解析获取所需的内容。通常日志数据都是无结构或半结构的数据，为了更便捷地对日志数据进行分析，需要对日志数据进行解析，获得有结构的数据，并将所获得的数据保存到数据仓库中。其中，无结构的数据是指数据结构不规则或不完整、没有预定义的数据模型、不方便用数据库二维逻辑表来表现的数据。

网络环境里有各种各样的日志，例如有主机日志、安全设备日志、中间件日志、web服务器日志、各种业务系统的日志等，日志种类多，日志格式多种多样，对日志的输出没有严格规范，这些日志数据，可读性较差，因此需要将这些晦涩难懂的日志变成简单、易懂、易用的结构化数据以再利用。

相关技术中的日志数据解析方法往往是通过程序将日志数据写入日志文件中，分布式日志采集传输系统采集日志文件中的日志数据，并将采集到的日志数据发送至分布式消息系统，当实际应用中存在对日志数据进行分析的需求时，通过流处理计算引擎从上述分布式消息系统获取日志数据，并运行程序员依据上述对日志数据进行分析的需求开发的数据解析程序，对所获取的日志数据进行解析，得到结构化的日志数据，并将得到的数据存储至数据仓库中。然而，这类技术方案在日志的接入源异构性突出的情况下，需要对数据解析程序进行反复修改，导致出现了解析过程复杂的问题。

目前针对相关技术中日志数据的解析过程复杂的问题，尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种日志数据解析方法、装置、电子装置和存储介质，以至少解决相关技术中日志数据的解析过程复杂的问题。

第一方面，本申请实施例提供了一种日志数据解析方法，所述方法包括：获取待解析的日志数据，并对所述待解析的日志数据进行预处理，得到第一日志数据，其中，所述预处理至少包括结构化处理；根据预设提取规则从所述第一日志数据中提取目标日志数据，并根据提取所述目标日志数据的提取结果，确定预设管道工作流的解析数据源，其中，所述解析数据源包括所述目标日志数据和所述第一日志数据其中之一；在所述预设管道工作流中按照预设解析规则对所述解析数据源进行解析，得到解析结果。

在其中一些实施例中，根据提取所述目标日志数据的提取结果，确定预设管道工作流的解析数据源包括：在提取到所述目标日志数据的情况下，确定所述预设管道工作流的解析数据源包括所述目标日志数据；在未提取到所述目标日志数据的情况下，确定所述预设管道工作流的解析数据源包括所述第一日志数据。

在其中一些实施例中，所述预设解析规则包括以下至少之一：正则表达式匹配、JSON解析；在所述预设管道工作流中按照预设解析规则对所述解析数据源进行解析包括：对所述解析数据源进行正则表达式匹配，抽取与所述正则表达式对应的数据，和/或，对所述解析数据源进行JSON解析，得到JSON解析后的JSON数据。