[发明专利]一种集群的日志采集方法、系统、设备以及介质

说明书

本发明公开了一种集群的日志采集方法，包括以下步骤：注册事件监听并全量扫描；利用所述事件监听获取的信息和所述全量扫描得到的信息生成容器列表；根据所述容器列表中的每一个容器的环境变量的预设标识识别进行日志采集的容器；获取与所述进行日志采集的容器对应的采集参数；利用所述采集参数生成采集配置文件；将所述采集配置文件部署到采集工具中以进行日志采集。本发明还公开了一种系统、计算机设备以及可读存储介质。本发明提出的方案能够以最轻量级，最高效，声明式的配置进行容器日志的采集，解决了传统容器日志采集时的高冗余，高耗能，管理困难的问题。

技术领域

本发明涉及日志采集领域，具体涉及一种集群的日志采集方法、系统、设备以及存储介质。

背景技术

容器技术是一种比虚拟机技术更加节省计算资源也更加灵活的虚拟化技术。随着容器技术的发展，出现了很多容器编排引擎，用于对容器进行管理，Kubernetes技术脱颖而出成为了容器编排领域的事实标准。在将容器技术应用到实际生产环境中时，由于技术门槛的缘故，仅仅使用Kubernetes进行应用系统部署显得比较困难，为此需要开发对Kubernetes集群进行管理的软件系统。

日志作为应用的一个关键环节，尤其是在使用容器编排工具进行容器调度的动态环境下，程序的排错和健康状态的分析很多都依赖日志信息的收集。在容器平台这种动态的环境下，如何在应用的容器化过程中，方便快捷的自动发现和采集日志是将传统应用容器化部署的一个重要方面。

在管理Kubernates集群的软件系统中，对所部署容器的标准日志的采集，是他们了解自己的系统运行状态与排除错误的一种手段,是系统管理中，必不可少的一部分。

目前的采集工具都需要事先手动配置好日志采集方式和路径等信息，由于它无法自动感知到容器的生命周期变化或者动态漂移，所以它无法动态地去配置。

发明内容

有鉴于此，为了克服上述问题的至少一个方面，本发明实施例提出一种集群的日志采集方法，包括以下步骤：

注册事件监听并全量扫描；

利用所述事件监听获取的信息和所述全量扫描得到的信息生成容器列表；

根据所述容器列表中的每一个容器的环境变量的预设标识识别进行日志采集的容器；

获取与所述进行日志采集的容器对应的采集参数；

利用所述采集参数生成采集配置文件；

将所述采集配置文件部署到采集工具中以进行日志采集。

在一些实施例中，利用所述事件监听获取的信息和扫描得到的信息生成容器列表，进一步包括：

接收每一个宿主机节点发送的容器事件的监听数据；

根据预设接口扫描并获取所有容器的信息；

根据所述监听数据和所述所有容器的信息生成容器列表。

在一些实施例中，获取与所述进行日志采集的容器对应的采集参数，进一步包括：

获取所述进行日志采集的容器的元数据信息；

获取所述进行日志采集的容器的环境变量中的日志路径。

在一些实施例中，利用所述采集参数生成采集配置文件，进一步包括：

利用所述元数据信息和所述日志路径生成所述采集配置文件；或，

利用所述元数据信息生成所述采集配置文件。

基于同一发明构思，根据本发明的另一个方面，本发明的实施例还提供了一种集群的日志采集系统，包括：

采集模块，所述采集模块配置为注册事件监听并全量扫描；