[发明专利]用于Kubernetes集群的容器日志处理系统

说明书

本发明涉及容器技术领域，公开了一种用于Kubernetes集群的容器日志处理系统，解决kubernetes集群中随机分布容器日志如何收集、搜索、归档问题。本发明基于Kubernetes部署服务打上特定标签并配置日志收集组件针对部署服务打上的标签进行收集、搜索、归档，并利用消息作为日志收集缓冲存储，对归档日志进行压缩存储解决日志收集过程中影响业务性能问题与存储成本高问题，并配置Filebeat的丢弃事件为部署服务的特定标签，做到日志收集动态开关。本发明适用于数据中心传输控制。

技术领域

本发明涉及容器技术领域，特别涉及用于Kubernetes集群的容器日志处理系统。

背景技术

随着微服务架构的推广，越来越多的公司采用微服务来搭建自己的业务平台并采用以Kubernetes为代表的容器平台来治理微服务，用Kubernetes进行资源调度、动态扩缩容等一系列的容器编排操作。而日志作为记录容器运行状态的重要信息，并在日常生产中用作诊断、定位问题的关键数据，其意义得到了人们越来越多的重视。特别是在大规模的容器集群中，一个微服务会存在多个副本并随机分配到不同主机节点上，如何收集随机分布的容器日志数据，并提供分布式容器日志归档与搜索功能等方面等一系列问题成为了容器化部署过程中不得不面对的一项挑战。

发明内容

本发明要解决的技术问题是：提供一种用于Kubernetes集群的容器日志处理系统，解决kubernetes集群中随机分布容器日志如何收集、搜索、归档问题。

为解决上述问题，本发明采用的技术方案是：用于Kubernetes集群的容器日志处理系统，包括日志采集模块、日志收集模块、日志消费模块、日志归档程序、日志缓冲存储模、搜索分析服务模块以及两个特定的标签；

两个特定的标签依附于Kubernets集群中部署的应用，其中一个标签A的标签值与应用名相同，另一个标签B用于决定应用日志是否需要被收集、归档；

日志采集模块用于采集应用日志数据；

日志收集模块用于将日志采集模块采集的日志写入日志缓冲存储模块，并配置日志丢弃事件条件其中，写入日志缓冲存储模块的日志数据需包含上述的两个特定的标签；

日志消费模块用于消费缓冲存储模块中的日志数据，并将消费后的日志数据将写入搜索分析服务模块中，其中，写入搜索分析服务模块的日志数据需包含上述的两个特定的标签；

日志归档程序用于对搜索分析服务模块收集的日志数据进行归档，日志归档程序在归档前通过标签B确定应用业务日志是否需要被归档，归档时以标签A去搜索服务模块检索归档数据。

进一步的，所述日志采集模块采集前需设置日志采集模块的参数，以确保单个容器日志能够滚动更新，同时防止单个容器日志过大。

进一步的，所述日志采集模块可以为Docker。

进一步的，所述日志缓冲存储模块可以为Kafka。

进一步的，日志收集模块可以为Filebeat。

进一步的，Filebeat以DaemonSet方式部署在Kubernetes集群中，用以确保Kubernetes集群中每个主机节点运行一份pod副本，当Kubernetes集群中加入新的节点，或者移除旧的节点时，Filebeat会自动调度pod到新的节点或者删多余的副本，确保每个节点的日志都能被正确收集。

进一步的，所述日志消费模块可以为Logstash。

进一步的，所述归档程序还可具备重试机制，以保证归档数据不丢失。

进一步的，所述搜索服务模块可以为Elasticsearch。