[发明专利]一种数据库日志统计方法、系统及相关装置

说明书

本申请提供一种数据库日志统计方法，包括：获取日志数据并存入循环缓冲区；在所述循环缓冲区中对所述日志数据进行解析，得到预设格式的日志数据，并存至目标数据库。本申请利用基于Disruptor并发框架结构的循环缓冲区进行数据库日志数据的获取、解析和存储，利用Disruptor高吞吐和低延迟的特点，实现了数据高效的传输，减少日志数据在其他中间存储环境的占用时间，使得数据可以快速在不同的数据源之前进行数据操作。本申请还提供一种数据库日志统计系统、计算机可读存储介质和电子设备，具有上述有益效果。

技术领域

本申请涉及数据库领域，特别涉及一种数据库日志统计方法、系统及相关装置。

背景技术

当前存储系统的日志分析采集会产生大量的格式不一的日志，比如:syslog、json、xml、csv等等，为将数据ETL化(Extract-Transform-Load，用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程)，需要对其进行大量的抽取、清洗、转换函数操作，最后入库到存储系统，为了方便查询，还需要将其索引、分类，对日志管理要求较高。相关技术中在日志数据的处理速度及准确性方面会大降低，并且无法满足数据源多种多样的变化，由于日志数据的处理入库过程较慢，进一步导致相应的日志数据存储紊乱，造成日志后续查询分析过程缓慢，不利于实现日志分析，给日志审计过程带来困难，影响用户基于日志数据的统计效率。

发明内容

本申请的目的是提供一种数据库日志统计方法、系统、计算机可读存储介质和电子设备，能够提高日志的处理入库效率。

为解决上述技术问题，本申请提供一种数据库日志统计方法，具体技术方案如下：

获取日志数据并存入循环缓冲区；其中，所述循环缓冲区为基于Disruptor并发框架结构的循环缓冲区；

在所述循环缓冲区中对所述日志数据进行解析，得到预设格式的日志数据，并存至目标数据库。

可选的，在所述循环缓冲区中对所述日志数据进行解析，得到预设格式的日志数据包括：

在所述循环缓冲区中对所述日志数据进行字段映射，得到数据字段；

对所述数据字段调用应用字典解析，得到预设格式的日志数据。

可选的，将所述日志数据存至目标数据库后还包括：

所述目标数据库的逻辑主库将所述日志数据解析为第二预设格式，并发送至逻辑备库；

所述逻辑备库将所述日志数据重做并保存。

可选的，包括：

在所述目标数据库中创建分区表，并配置所述分区表的分区键和分区策略；

其中，所述分区策略包括范围分区和列表分区。

可选的，包括：

在所述分区表中添加GIN扩展索引，以便利用所述GIN扩展索引在所述分区表中检索所述日志数据。

可选的，还包括：

利用Lucene索引基于所述分区表进行分块查询，得到分析结果；

将所述分析结果存入所述目标数据库。

可选的，还包括：

当所述日志数据的数据流量大于预设值时，利用消息队列对所述日志数据进行缓存；

相应的，所述获取日志数据并存入循环缓冲区包括：

从所述消息队列中获取日志数据，并将所述日志数据存入循环缓冲区。

本申请还提供一种数据库日志统计系统，包括：