[发明专利]日志处理方法和装置

说明书

本发明公开了一种日志处理方法和装置，涉及大数据技术领域。该方法的一具体实施方式包括：识别数据库节点的角色，根据所述角色，确定存储于所述数据库节点上的日志的存储路径；基于所述存储路径，采集日志数据，并将所述日志数据发送至预设的消息队列；从所述消息队列中获取所述日志数据，并存储所述日志数据。该实施方式能够全面收集分散在集群各节点上的日志数据进行统一存储，并建立多个索引，便于从多种维度进行查询分析提高了分析效率。

技术领域

本发明涉及大数据技术领域，尤其涉及一种日志处理方法和装置。

背景技术

在性能测试过程中，常常需要通过慢日志来分析数据库相关的性能问题。对于传统的单机MySQL数据库，可以直接查看存储在数据库服务器中的慢日志文件；对于GoldenDB这样的分布式数据库，要分别到每个节点上获取慢日志文件才能对整个系统的慢日志进行分析，如果分布式数据库集群规模较大，到每个节点上获取慢日志会非常繁琐，且容易遗漏，需要耗费大量时间和精力分别分析各节点上的慢日志，效率很低，而且无法对跨节点的事务进行整体分析。若只分析分布式数据库某个节点上的慢日志文件，则无法全面分析整个数据库系统的慢查询情况。

发明内容

有鉴于此，本发明实施例提供一种日志处理方法和装置，能够全面收集分散在集群各节点上的日志数据进行统一存储，并建立多个索引，便于从多种维度进行查询分析提高了分析效率。

为实现上述目的，根据本发明实施例的一个方面，提供了一种日志处理方法，包括：

识别数据库节点的角色，根据所述角色，确定存储于所述数据库节点上的日志的存储路径；

基于所述存储路径，采集日志数据，并将所述日志数据发送至预设的消息队列；

从所述消息队列中获取所述日志数据，并存储所述日志数据。

可选的，采集日志数据包括：采集日志数据，并对所述日志数据进行标记，以通过所述标记确定所述日志数据对应的数据库节点的角色。

可选地，从所述消息队列中获取所述日志数据，并存储所述日志数据包括：

从所述消息队列中获取所述日志数据；

根据所述日志数据的标记，确定所述日志数据对应的数据库节点的角色；

根据所述日志数据对应的数据库节点的角色，确定解析策略；

根据所述解析策略，解析所述日志数据；

将解析后的所述日志数据进行存储。

可选地，在解析所述日志数据之后，所述方法还包括：对解析后的日志数据进行格式转换。

可选地，将解析后的所述日志数据进行存储包括：根据所述日志数据的标记，确定所述日志数据对应的数据表；将解析后的所述日志数据存储于所述数据表中。

可选地，根据所述日志数据的标记，确定所述日志数据对应的数据表包括：根据所述日志数据的标记，确定分区键；根据所述分区键，确定所述日志数据对应的数据表。

可选地，在存储所述日志数据时，所述方法还包括：创建多个日志索引，以通过所述日志索引查询存储的日志数据。

可选地，创建多个日志索引包括：根据以下一种或多种关键字创建索引：时间、用户、IP地址和耗时。

可选地，在存储所述日志数据之后，所述方法还包括：

接收查询指令，并根据所述查询指令查询存储的日志数据，得到查询结果；

根据所述查询指令，确定目标图表；

将所述查询结果和所述目标图表进行关联和渲染，以通过所述目标图表展示所述查询结果。