[发明专利]一种云平台全自动管理日志采集方法及终端

说明书

本发明提供了一种云平台全自动管理日志采集方法，包括以下步骤：判断Filebeat是否已启动，读取SideCar配置文件，运行期间根据心跳间隔时间进行更新日志采集配置，将待新增配置文件添加到filebeat配置文件目录下，关闭模块。本发明提出的云平台全自动管理日志采集方法及终端自动从服务端拉取采集配置，并动态加载最新的配置文件，期间不需要重新启动。同时日志采集终端向服务端发送其运行状态，可以通过监控状态的形式发现其是否正常运行。自动探测采集终端的新版本，并自动下载、更新、重启，过程无需用户手动干预。

技术领域

本发明涉及日志采集终端系统技术领域，具体为一种云平台全自动管理日志采集方法及终端。

背景技术

随着云平台的发展，越来越多的服务产品都通过云平台为介质向用户提供软件服务，包括大家通常使用的数据库、堡垒机等等。

现有技术中，上述服务产品在运行时产生了大量的、各式各样的日志，日志记录着服务产品的运行状态与行为，云平台需要对这些日志进行采集、存储、分析以了解该服务产品是否存在稳定性、性能等问题。

但是，在服务产品演进过程中，一些原本不需要进行采集的日志文件需要进行采集，原本一条日志对应一行改为多行打印，原来的多行匹配规则已经不再适用的问题都将对日志采集终端产生影响，需要对其采集配置进行重新设置，再做镜像以对服务产品日志采集提供服务。同时在采集终端运行过程中，难免因一些不可坑因素导致其停止运行或发生问题导致不能正常采集日志或日志采集后不能正常发送到后端存储系统。修复日志采集组件在运行中发现的问题，推出新版本后不能统一进行升级，并且需要用户自行升级或是侵入用户虚机才能进行升级。

发明内容

本发明的目的在于提供一种云平台全自动管理日志采集方法及终端，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种云平台全自动管理日志采集方法及终端，包括以下步骤：

判断Filebeat是否已启动，如未启动，则启动Filebeat；

读取SideCar配置文件，获取服务端URL、本终端nodeLabel与心跳间隔时间，如服务端URL未配置则使用默认URL；获取当前Filebeat版本号；

运行期间根据心跳间隔时间进行更新日志采集配置、获取Filebeat组件状态并上报至服务端、自动更新Filebeat版本并重启；

将待新增配置文件添加到filebeat配置文件目录下，将待编辑配置文件内容更新到配置文件目录下的配置文件，在配置文件目录下将待删除的进行删除，同时更新本地缓存文件为读取SideCar配置文件提供元数据；

关闭模块，关闭SideCar组件时，通过钩子关闭Filebeat，然后再关闭其本身。

优选的，更新采集配置的流程步骤如下：

a.每隔10倍心跳间隔时间，读取本地缓存文件获取当前所有input文件名与内容md5，访问服务端，获取该虚机最新input配置，包括新增配置、修改配置、删除配置；

b.根据虚机标签查询出所有的开启状态的配置及md5值；如果查询为空，则将入参中所有配置文件名放到删除配置文件列表中；如果查询不为空，则循环入参中所有配置文件名与查询结果比较，查询结果中不存在的，放置到删除配置文件列表中；存在且md5值不一致的放到修改配置文件列表中；如果查询不为空，循环查询结果与入参中配置文件名比较，入参中不存在的将配置文件放置到新增配置文件列表中。

优选的，获取Filebeat组件状态并上报至服务端的流程步骤如下：

a.每隔心跳间隔时间，通过调用Filebeat接口，获取Filebeat当前状态；