[发明专利]日志解析方法、装置、电子装置和存储介质

权利要求书

1.一种日志解析方法，用于ClickHouse数据库，其特征在于，包括：

获取原始日志数据；

将预设的解析需求处理为针对所述原始日志数据的解析规则；

基于所述ClickHouse数据库预设的数据库语法，将所述解析规则转化为物化视图，并利用所述物化视图对所述原始日志数据进行实时解析，得到所述原始日志数据的解析结果。

2.根据权利要求1所述的日志解析方法，其特征在于，所述获取原始日志数据，包括：

获取由所述ClickHouse数据库的消息组件从预设的数据源接收的原始日志数据。

3.根据权利要求1所述的日志解析方法，其特征在于，所述解析规则为由类型节点组成的树型结构；所述将预设的解析需求处理为针对所述原始日志数据的解析规则，包括：

根据所述预设的解析需求，确定所述类型节点，以及所述类型节点之间的组合关系；其中，所述类型节点指示对所述原始日志数据进行匹配替换、匹配提取、以及条件判断中的至少一种处理逻辑；

将所述类型节点按照确定的组合关系组合成树型结构，得到所述解析规则。

4.根据权利要求3所述的日志解析方法，其特征在于，所述根据所述预设的解析需求，确定所述类型节点，以及所述类型节点之间的组合关系，包括：

根据所述预设的解析需求，确定对所述原始日志数据进行数据处理的正则表达式和/或逻辑表达式，并基于所述正则表达式和/或逻辑表达式生成类型节点；

基于所述预设的解析需求确定所述类型节点之间的组合关系。

5.根据权利要求3所述的日志解析方法，其特征在于，所述基于所述ClickHouse数据库预设的数据库语法，将所述解析规则转化为物化视图，包括：

按照所述解析规则的树型结构对所述解析规则进行遍历，在遍历过程中依次基于所述ClickHouse数据库预设的数据库语法，将所述解析规则中的类型节点转化为物化视图片段；

在遍历结束后对所有的所述物化视图片段进行拼接，得到所述物化视图。

6.根据权利要求1所述的日志解析方法，其特征在于，所述利用所述物化视图对所述原始日志数据进行实时解析，得到所述原始日志数据的解析结果，包括：

基于所述物化视图中的数据库语句，对所述原始日志数据进行实时过滤和实时解析，得到所述原始日志数据的解析结果。

7.根据权利要求1至6中任一项所述的日志解析方法，其特征在于，在得到所述原始日志数据的解析结果之后，所述方法还包括：

将所述解析结果写入所述ClickHouse数据库预先建立的解析结果表中进行存储。

8.一种日志解析装置，用于ClickHouse数据库，其特征在于，包括：获取模块、处理模块、以及解析模块；其中：

所述获取模块，用于获取原始日志数据；

所述处理模块，用于将预设的解析需求处理为针对所述原始日志数据的解析规则；

所述解析模块，用于基于所述ClickHouse数据库预设的数据库语法，将所述解析规则转化为物化视图，并利用所述物化视图对所述原始日志数据进行实时解析，得到所述原始日志数据的解析结果。

9.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至7中任一项所述的日志解析方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的日志解析方法的步骤。