[发明专利]一种容器云的日志监控管理系统及方法

说明书

本发明提出了一种容器云的日志监控管理系统及方法，涉及日志监控管理技术领域，该系统包括：容器云模块，用于建立容器云；日志资源库模块，用于临时存储容器云产生的日志文件；日志采集模块，用于提取日志文件，并向分发模块发送日志处理任务；分发模块，用于对日志处理任务进行缓存，分发至批处理与压缩模块；批处理与压缩模块，用于根据分发到的日志处理任务，将日志文件进行压缩并附加到打包文件；存储模块，用于与批处理与压缩模块配合，接收压缩后的日志文件，存储满足预设要求的打包文件；采集读取模块，用于依据可视化模块发送的日志查询条件，向存储模块查询目标日志文件；可视化模块，用于通过可视化界面显示查询结果。

技术领域

本发明涉及日志监控管理技术领域，尤指一种容器云的日志监控管理系统及方法。

背景技术

目前，当容器云运行的应用或者某个节点出现问题时，一般是基于Prometheus+ELK体系实现监控功能，Prometheus中核心组件是Metric和Alert。其中，Metric用于说明当前已达到阈值，Alert设置Metric达到某个特定的基数触发告警。K8s的基本单位是Pod，Pod把日志输出到stdout和stderr，在出现问题时，通常由开发人员在界面或者通过命令查看相关的日志。如果这个时候应用突然挂掉，则会导致无法查到相关的日志，所以需要引入日志系统ELK，统一收集日志，但是使用ELK的话，就需要在Kibana和Grafana之间切换，影响用户体验。

综上所述，现有基于Prometheus+ELK体系的监控系统，具有以下技术问题：方案都是采用全文检索对日志进行索引，资源占用高，成本较高。一般采用全集原则，即功能丰富，允许复杂的操作，但是根本不适应大量简单查询操作场景，效率低，资源浪费。操作繁杂，易用性低，用户体验差。因此，亟需一种可以克服上述缺陷的日志监控技术方案。

发明内容

为解决现有技术存在的问题，本发明提出了一种容器云的日志监控管理系统及方法。本发明使用和Prometheus一样的标签来作为索引，通过这些标签既可以查询日志的内容也可以查询到监控的数据，不但减少了两种查询之间的切换成本，也极大地降低了日志索引的存储。

在本发明实施例的第一方面，提出了一种容器云的日志监控管理系统，该系统包括：容器云模块、日志资源库模块、日志采集模块、分发模块、批处理与压缩模块、存储模块、采集读取模块及可视化模块；其中，

所述容器云模块，用于建立容器云，并且在每个节点上部署日志采集器，向日志资源库模块推送日志文件；

所述日志资源库模块，用于临时存储容器云产生的日志文件；

所述日志采集模块，用于从日志资源库模块中序列化提取日志文件，根据日志文件生成对应的日志处理任务，放入任务队列，并向分发模块发送日志处理任务；

所述分发模块，用于接收日志采集模块推送的日志处理任务，对日志处理任务进行缓存，分发至批处理与压缩模块；

所述批处理与压缩模块，用于根据分发到的日志处理任务，将日志文件进行压缩并附加到打包文件，当打包文件满足预设要求时，向存储模块发送刷新指令，将打包文件刷新至存储模块中的数据库；

所述存储模块包含文件接收单元及数据库；其中，文件接收单元，用于与所述批处理与压缩模块配合，接收压缩后的日志文件；数据库，用于存储满足预设要求的打包文件；

所述采集读取模块，用于依据可视化模块发送的日志查询条件，向存储模块查询目标日志文件，并将查询结果返回至可视化模块；

所述可视化模块，用于接收用户输入的日志查询条件，并通过可视化界面显示查询结果。

进一步的，所述容器云模块具体用于：

建立基于Kubernetes+Docker的私有容器云，通过标准输出设备及标准错误输出设备向日志资源库模块推送日志文件。