[发明专利]日志处理方法及装置

说明书

本公开实施例公开了的日志处理方法及装置，在接收到待处理日志集群之后，可以将待处理日志集群中的待处理日志与预建模板库中的模板日志进行匹配，并可以根据匹配结果，确定待处理日志对应的日志类别；之后则可以根据各待处理日志对应的日志类别，确定待处理日志集群的日志处理结果。而通过这种方式，使得在接收到待处理日志集群之后，会对待处理日志进行分类，并可以根据分类结果，确定待处理日志集群的日志处理结果，这样，也就可以更好的利用待处理日志集群来确定系统的运行状态。

技术领域

本公开实例涉及日志处理技术领域，尤其涉及日志处理方法及装置。

背景技术

日志作为一种重要的信息载体，其应用于网络的各个角落。一个系统通常会从很多不同来源的日志中获取信息，例如：syslog，http，文本日志，netcat等。

例如，Kubernetes是云原生应用的重要基础平台，而日志又作为Kubernetes集群基础运维的最重要数据之一；而对于日志进行收集、处理、存储和分析则是重要的运维工作。

当前主流的技术方案主要聚焦在用户应用的Pod日志处理上，主流的方案是通过一些工具采集每个Pod的原始日志并且存储在ElasticSearch全文检索系统中，依赖ElasticSearch提供的关键字查询分析功能来实现日志的检索功能。主流的方案存在以下几个问题：

原始日志数据过于庞大，收集、传输、存储都带来很大压力，特别是Kubernetes集群规模比较大的情况。

原始日志存储到ElasticSearch后，虽然可以关键字查询，但是无法直观的了解这些原始日志都透漏了哪些信息，哪些日志高频发生，高频发生的日志又有哪些关联，因此难以分析出更有价值的运维线索。

当前主流的日志处理方案的重心在于用户应用的日志处理(Pod日志)，而忽视了Kubernetes集群本身的组件如API Server、Kubelet、Kube-proxy、kube-scheduler、kube-controller-manager等的日志收集分析，而这部分日志对于了解和发现Kubernetes集群自身的工作状态和问题来说至关重要。

发明内容

提供该公开内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该公开内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

本公开实施例提供了日志处理方法及装置，可以使得在接收到待处理日志集群之后，会对待处理日志进行分类，并可以根据分类结果，确定待处理日志集群的日志处理结果，这样，也就可以更好的利用待处理日志集群来确定系统的运行状态。

第一方面，本公开实施例提供了一种日志处理方法，包括：接收待处理日志集群；将上述待处理日志集群中的待处理日志与预建模板库中的模板日志进行匹配；并根据匹配结果，确定待处理日志对应的日志类别；其中，模板库中的一个模板日志指示日志的一种类别；基于上述待处理日志集群中各待处理日志对应的日志类别，确定与上述待处理日志集群对应的日志处理结果，其中，日志处理结果至少包括以下一项：待处理日志集群中待处理日志的分类结果、每个类别对应的待处理日志的数目。

结合第一方面的实施例，在一些可选的实施方式中，上述方法还包括：基于待处理日志对应的日志类别；对各待处理日志进行分类存储；基于各类中的待处理日志所指示的事件发生时刻，对各类中的待处理日志进行排序。

结合第一方面的实施例，在一些可选的实施方式中，上述基于上述待处理日志集群中各待处理日志对应的日志类别，确定与上述待处理日志集群对应的日志处理结果，包括：对每类中的待处理日志进行统计，并根据统计结果，确定与上述待处理日志集群对应的日志处理结果；其中，统计结果至少包括以下一项：每类中的待处理日志的总数目，在预设时长内，每类中待处理日志的增加数目。