[发明专利]一种动态监控数据采集方法及装置

说明书

本发明实施例提供一种动态监控数据采集方法及装置，其中，启动数据采集代理，数据采集代理在启动时加载配置文件并读取配置文件内容；根据配置文件内容创建协程，通过创建的协程执行配置文件内容中的数据采集指令，获得采集的数据；将所述协程采集到的数据写入内存。根据本方案，提供一种新的数据采集代理Agent(Exporter)，可以实现监控数据的统一采集管理。

技术领域

本发明涉及计算机技术领域，具体涉及一种基于Prometheus的动态监控数据采集方法及装置。

背景技术

Prometheus是由SoundCloud开发的开源监控报警系统和时序列数据库，Promethues支持多维度数据监控，具备灵活的查询语言，不依赖分布式存储，通过基于HTTP的Pull方式采集时序数据，数据采集时会定时的从Exporter中获取多维度的监控数据。而Exporter只需要暴露HTTP Server的端口给Prometheus的Server端。具备多种多样的图表和界面展示。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

(1)目前几乎每一种独立的服务或者工具，都是独立的一套Exporter，并且都需要启动单独的Http Server。可维护性较差，当多个需要监控的业务同时运行在一个主机上时，需要启动多个Http Server。

(2)现有的Exporter通用性极差，通常只能满足一部分需求，比如开源的NodeExporter就无法监控诸如磁盘异常、定时任务执行失败等自定的监控指标。

(3)Exporter本身开发需要对Prometheus原理有足够的认识才能进行开发。没有一套可以开箱即用的方案。

发明内容

本发明实施例提供一种动态监控数据采集方法及装置，提供一种新的数据采集代理Agent(Exporter)，可以实现监控数据的统一采集管理。

为达到上述目的，一方面，本发明实施例提供了一种动态监控数据采集方法，所述方法包括：

启动数据采集代理，数据采集代理在启动时加载配置文件并读取配置文件内容；

根据配置文件内容创建协程，通过创建的协程执行配置文件内容中的数据采集指令，获得采集的数据；

将所述协程采集到的数据写入内存。

另一方面，本发明实施例提供了一种动态监控数据采集装置，所述装置包括：

启动单元，用于启动数据采集代理，数据采集代理在启动时加载配置文件并读取配置文件内容；

数据采集单元，用于根据配置文件内容创建协程，通过创建的协程执行配置文件内容中的数据采集指令，获得采集的数据；

存储单元，用于将所述协程采集到的数据写入内存。

上述技术方案具有如下有益效果：

本发明的技术方案由于使用了动态监控数据采集方法，本申请自主开发Agent通过配置文件的设置，实现对多种监控指标的整合，达到了统一管理的目的。支持自定义监控数据，更加方便灵活。非常适合生产环境中多变的监控需求。本申请通过Golang开发，尤其是在批量处理速度上有比较明显的优势。本申请部署流程十分简单，可运行的二进制文件+极少的参数表可以启动。比较适合规模的部署和生产环境上的实践。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。