[发明专利]系统日志处理方法、装置、计算机设备和存储介质

说明书

本申请涉及一种系统日志处理方法、装置、计算机设备和存储介质，包括：获取系统输出的日志，创建对应的事件对象；判断事件对象中是否存在异常报错字段；当事件对象中存在异常报错字段时，获取对应事件对象的日志信息，并对日志信息进行排版处理；将排版后的日志信息进行结构化处理得到结构化对象，排版后的日志信息包括至少一行，结构化对象中包括所述日志信息；将所述结构化对象进行序列化操作后进行存储，获取存储的序列化操作后的结构化对象，并对序列化后的所结构化对象进行反序列化为结构化对象；接收日志查询请求；根据日志查询请求查询存储的结构化对象，输出所查询到的结构化对象。采用本方法能够准确查询日志信息，防止内容遗漏。

技术领域

本申请涉及大数据处理技术领域，特别是涉及一种系统日志处理方法、装置、计算机设备和存储介质。

背景技术

日志是软件系统中查找软件运行异常及错误的重要信息来源。而在微服务架构中，一个业务请求会经过多个服务，链路较长，收集端到端链路上的日志能够帮助研发人员判断异常及错误发生的具体位置。在系统的日常运维中，可以对系统运行的情况进行统计分析，为系统优化提供有效的数据分析。

目前，微服务应用日志处理主流用ELK模式(ElasticSearch+LogStash+Kibana)，进行日志的收集、分析、存储和展示，其中LogStash作为日志的汇聚，可以通过input、filter、output三部分，把日志收集、过滤、输出到Elastic Search中(也可以输出到文件或其他载体)，Elastic Search作为分布式搜索引擎，提供了搜集、分析、存储数据的功能，Kibana则是作为Elastic Search分析数据的页面展示。

然而，LogStash日志采集过程是对日志信息按行采集，Logstash在从文本日志文件里解析日志时，如果是报错日志，不能很好的解析汇总为完整的一条日志信息，将会影响搜索过程中对于这部分信息查询展示。

发明内容

基于此，有必要针对上述技术问题，提供一种能够准确查询日志信息的系统日志处理方法、装置、计算机设备和存储介质。

一种系统日志处理方法，所述方法包括：

获取系统输出的日志，并创建对应的事件对象；

判断所述事件对象中是否存在异常报错字段；

当所述事件对象中存在异常报错字段时，则从所述异常报错字段中获取异常报错的类名和日志信息，并将每一类名和对应的日志信息作为一行日志进行排版；

将排版后的日志信息进行结构化处理得到结构化对象，并获取所述日志信息对应的服务器信息，将所述服务器信息添加至所述结构化对象中；所述属于同一日志的排版后的日志信息包括至少一行，所述结构化对象中包括所述日志信息；

将所述结构化对象进行序列化操作后进行存储，获取存储的序列化操作后的结构化对象，并对序列化后的所述结构化对象进行反序列化为结构化对象；

接收日志查询请求；

根据所述日志查询请求查询存储的结构化对象，并输出所查询到的结构化对象。

在其中一个实施例中，所述将排版后的日志信息进行结构化处理得到结构化对象，包括：

获取预先设置的结构化模板；

从排版后的日志信息的每一行提取日志内容；

获取所述事件对象对应的日志基础内容；

将所提取的日志内容以及日志基础内容存储至所述结构化模板中得到结构化对象。

在其中一个实施例中，所述将所述结构化对象进行序列化操作后进行存储，获取存储的序列化操作后的结构化对象，并对序列化后的所述结构化对象进行反序列化为结构化对象，包括：