[发明专利]日志解析方法、装置、电子装置和存储介质

说明书

本申请涉及一种日志解析方法、装置、电子装置和存储介质，其中，该日志解析方法包括：获取原始日志数据；将预设的解析需求处理为针对原始日志数据的解析规则；基于ClickHouse数据库预设的数据库语法，将解析规则转化为物化视图，并利用物化视图对原始日志数据进行实时解析，得到原始日志数据的解析结果。本申请利用ClickHouse数据库实现了对原始日志数据的解析，从而能够在不依赖额外的解析系统的情况下完成对原始日志数据的实时解析，进而能够提高对ClickHouse数据库性能的利用率，从而降低了目前日志审计系统的开发成本和维护成本。

技术领域

本申请涉及日志解析领域，特别是涉及日志解析方法、装置、电子装置和存储介质。

背景技术

作为高性能、易拓展的关系型数据库管理系统，ClickHouse能够实现海量数据的即时查询，因而自开源发布以来便被广泛应用于OLAP(on-Line Analytic Processing，大数据联机分析处理)的解决方案中。

目前，在ClickHouse的应用中，由于以ClickHouse为主体的数据分析系统欠缺数据转换的能力，无法控制在存储分析前的数据质量，不能实现对日志数据的解析。因此，往往是将采集得到的原始日志数据发送到额外的日志解析系统中，由该日志解析系统将不同数据源的日志按照不同规则解析成可以区分不同字段的结构化数据。之后再将上述解析完成的结构化数据插入到ClickHouse数据库表之中。目前这种使用额外的日志解析系统对原始日志数据进行数据解析的方式，导致日志审计系统的开发成本与运维成本较高。

针对相关技术中使用额外的日志解析系统对原始日志数据进行数据解析的方式，所需的技术成本与运维成本较高的问题，目前还没有提出有效的解决方案。

发明内容

在本实施例中提供了一种日志解析方法、装置、电子装置和存储介质，以解决相关技术中使用额外的日志解析系统对原始日志数据进行数据解析的方式，所需的技术成本与运维成本较高的问题。

第一个方面，在本实施例中提供了一种日志解析方法，用于ClickHouse数据库，包括：

获取原始日志数据；

将预设的解析需求处理为针对所述原始日志数据的解析规则；

基于所述ClickHouse数据库预设的数据库语法，将所述解析规则转化为物化视图，并利用所述物化视图对所述原始日志数据进行实时解析，得到所述原始日志数据的解析结果。

在其中的一些实施例中，所述获取原始日志数据，包括：

获取由所述ClickHouse数据库的消息组件从预设的数据源接收的原始日志数据。

在其中的一些实施例中，所述解析规则为由类型节点组成的树型结构；所述将预设的解析需求处理为针对所述原始日志数据的解析规则，包括：

根据所述预设的解析需求，确定所述类型节点，以及所述类型节点之间的组合关系；其中，所述类型节点指示对所述原始日志数据进行匹配替换、匹配提取、以及条件判断中的至少一种处理逻辑；

将所述类型节点按照确定的组合关系组合成树型结构，得到所述解析规则。

在其中的一些实施例中，所述根据所述预设的解析需求，确定所述类型节点，以及所述类型节点之间的组合关系，包括：

根据所述预设的解析需求，确定对所述原始日志数据进行数据处理的正则表达式和/或逻辑表达式，并基于所述正则表达式和/或逻辑表达式生成类型节点；

基于所述预设的解析需求确定所述类型节点之间的组合关系。

在其中的一些实施例中，所述基于所述ClickHouse数据库预设的数据库语法，将所述解析规则转化为物化视图，包括：