[发明专利]用于Kubernetes集群的容器日志处理系统

摘要

本发明涉及容器技术领域，公开了一种用于Kubernetes集群的容器日志处理系统，解决kubernetes集群中随机分布容器日志如何收集、搜索、归档问题。本发明基于Kubernetes部署服务打上特定标签并配置日志收集组件针对部署服务打上的标签进行收集、搜索、归档，并利用消息作为日志收集缓冲存储，对归档日志进行压缩存储解决日志收集过程中影响业务性能问题与存储成本高问题，并配置Filebeat的丢弃事件为部署服务的特定标签，做到日志收集动态开关。本发明适用于数据中心传输控制。

主权项

1.用于Kubernetes集群的容器日志处理系统，其特征在于，包括日志采集模块、日志收集模块、日志消费模块、日志归档程序、日志缓冲存储模、搜索分析服务模块以及两个特定的标签；两个特定的标签依附于Kubernets集群中部署的应用，其中一个标签A的标签值与应用名相同，另一个标签B用于决定应用日志是否需要被收集、归档；日志采集模块用于采集应用日志数据；日志收集模块用于将日志采集模块采集的日志写入日志缓冲存储模块，并配置日志丢弃事件条件，其中，写入日志缓冲存储模块的日志数据需包含上述的两个特定的标签；日志消费模块用于消费缓冲存储模块中的日志数据，并将消费后的日志数据将写入搜索分析服务模块中，其中，写入搜索分析服务模块的日志数据需包含上述的两个特定的标签；日志归档程序用于对搜索分析服务模块收集的日志数据进行归档，日志归档程序在归档前通过标签B确定应用业务日志是否需要被归档，归档时以标签A去搜索服务模块检索归档数据。