[发明专利]基于容器平台的日志聚合方法及装置

说明书

本发明公开了一种基于容器平台的日志聚合方法及装置，所述方法应用于基于容器平台实现的集群中，所述集群包括至少一个节点，所述方法包括：采集每个节点的日志数据，压缩打包并附加标识信息后发送给每个日志处理单元；每个日志处理单元根据所述标识信息，处理对应自身处理级别的日志数据压缩包，得到待聚合的日志数据；日志聚合单元根据待聚合的日志数据中定位标识，将来自不同日志处理单元且属于相同应用的待聚合的日志数据进行聚合，得到聚合日志数据；对所述聚合日志数据进行分类存储以供调用访问。本发明实施例提供的基于容器平台的日志聚合方法及装置，能够降低了容器平台的运维成本，提高了容器平台的可用性以及拓展性。

技术领域

本发明涉及计算机技术领域，尤指一种基于容器平台的日志聚合方法及装置。

背景技术

随着容器技术的不断发展，容器化的应用带来了越来越多实际好处。相较于传统应用，容器化的应用容易自动化部署、可以在同一环境同时运行多个实例而互不影响、新版本自动化升级发布、更少的外部环境依赖以及易于横向延展以应对流量高峰情况，因此越来越多的企业开始发展容器技术，将更多的IT服务进行容器化改造。

与此同时，针对急剧增长的容器运行需求，容器治理技术应用而生，经过多年的发展与竞争，Kubernetes成为容器治理平台的业界事实标准。Kubernetes通过容器运行状态探针来保证容器的平稳运行，同时通过调度算法来保证集群的负载均衡。Kubernetes不仅可以使容器应用根据实时负载情况进行动态延展保证服务稳定，也提供了容器应用的灰度发布能力，大大提高了集群的使用效率同时降低了企业的运维成本。

Kubernetes提供的容器编排治理能力能有效保证运行在其上的应用层服务的负载性能稳定，但同时也会带来一些影响。第一是部署应用的影响，在Kubernetes上初始化部署一个应用服务比传统单机部署方式困难，在Kubernetes上部署应用除了要能将应用容器化、正确编写部署配置文件外，还要掌握Kubernetes管理应用程序接口(ApplicationProgram Interface，API)查看启动日志来追踪应用部署过程，如果出现部署问题需要退转到应用调度的节点继续追踪Kubernetes组件日志等；第二是应用调试的影响，在应用测试运行过程中出现错误时就需要对程序逻辑进行调试，由于Kubernetes集群与本地环境不属同一网络域，微服务应用通常与后台数个其他服务相关联依赖，因此无法直接在本地修改代码逻辑后实时运行调试，通常需要人工使用Kubernetes管理API查看容器的运行日志，甚至需要进入容器内部查看容器的相关日志输出；第三是Kubernetes集群故障定位困难，大部分的Kubernetes集群问题都会使得应用状态失败，这时使用管理API直接查看应用的启动日志、内部日志可能都无法定位，通常需要根据经验到应用调度节点上查看docker的运行日志，甚至还需要使用journalctl查看系统日志来定位具体问题。比如最常见ip资源不够、DNS域名解析失败时，都无法直接从应用日志上定位问题，需要进一步查看Kubernetes组件的运行日志才能定位问题。基于上述三个问题，完成一次应用部署、应用调试、故障定位需要运维人员付出巨大的努力，集群的规模越大需要耗费的精力也越大，从而造成企业在Kubernetes集群上投入较大的运维成本。

发明内容

本发明实施例提供一种基于容器平台的日志聚合方法及装置，用以解决现有技术中存在基于容器平台实现集群时运维调试成本较高的问题。

本发明实施例提供一种基于容器平台的日志聚合方法，所述方法应用于基于容器平台实现的集群中，所述集群包括至少一个节点，所述方法包括：

采集每个节点的日志数据，压缩打包并附加标识信息后发送给每个日志处理单元；

每个日志处理单元根据所述标识信息，处理对应自身处理级别的日志数据压缩包，得到待聚合的日志数据；

日志聚合单元根据待聚合的日志数据中定位标识，将来自不同日志处理单元且属于相同应用的待聚合的日志数据进行聚合，得到聚合日志数据；