[发明专利]基于应用性能监控的单指标参数采集方法及装置

说明书

本发明属于大数据技术领域，本发明提供了一种基于应用性能监控的单指标参数采集方法及装置，所述基于应用性能监控的单指标参数采集方法包括：以纵向采集方式，采集性能监控单指标参数；发送所述性能监控单指标参数至中间件；对所述中间件所转发的性能监控单指标参数进行聚合计算。本发明具有以下有益效果：更高的监控时效。采集端采集到某个指标就立即上报，不需要等待其他指标，实现了真正的实时监控，提高了监控时效。灵活配置。可以灵活配置采集端的不同指标的采集频率。节省资源。监控数据的分析完全放在服务端，应用程序中仅有数据采集逻辑，对应用程序资源的占用降到最低。

技术领域

本申请可用于大数据技术领域，具体涉及一种基于应用性能监控的单指标参数采集方法及装置。

背景技术

现有技术中，针对监控数据的采集，通常需要采用埋点的方式，将采集逻辑织入应用程序。比如，在交易的接收和响应处埋点，通过用响应时的时间戳减接收时的时间戳，就能得到这笔交易的耗时。再比如运行指标，通常是定时获取，比如每分钟采集一下度量操作系统健康情况的关键指标(如系统的CPU、内存、IO情况等)，然后将指标统一上报。监控系统收到这些监控数据之后，就可以对数据进行加工、聚合、分析，然后将分析结果存入数据库，用来给运维人员排查问题用。

现有技术中监控数据采集方法的技术缺陷是：监控数据的采集容易耦合。比如针对交易，通常需要等到交易结束，才能计算得到交易耗时。针对操作系统指标监控，需要定时触发，一次收集完整再组装成一个数据集，上报到监控系统的服务端作分析。这样带来的问题有几方面：

1、不同监控频率的监控数据耦合问题。比如操作系统的各类指标的采集和上报，一旦上报接口的数据模型约定好，采集端就要采集完这些监控数据才可以上报。但有时需要灵活的方式，比如如果操作系统网络IO很少出问题，想适当的调低采集频率，传统方案就无法办到。

2、没有最大利用监控系统的数据聚合分析能力。监控数据统一上报，也就是说要等所有数据都采集完整，监控系统的服务端才能对数据做处理，这并没有最大的利用服务端的数据聚合分析能力(面对海量监控数据，监控系统的数据分析能力通常很强大)。比如交易耗时没有必要在采集端等到响应时再做计算，而可以在交易开始和结束时，各上报一笔，由服务端利用强大的算力去计算每笔交易耗时。

3、浪费应用资源。如上所述，监控数据采集逻辑(也就是客户端)通常埋点在应用程序中，和应用进程共享CPU、内存等资源，批量上报数据会占用一定的资源。比如上面说的交易耗时计算或者其他一些预聚合，如果放在客户端，会占用CPU计算资源。再比如定时采集操作系统指标，因要等采集完再上报，只能暂存在内存里，占用了应用的存储资源，而更合理的方案应该对应用程序的运行影响越小越好。

发明内容

本发明可用于大数据技术领域，本发明公开的基于应用性能监控的单指标参数采集方法及装置的应用领域不做限定。本发明不仅具备现有技术中的聚合分析能力，而且每个指标都可以不依赖于别的指标进行独立采集、上报和分析，非常灵活。

为解决上述技术问题，本发明提供以下技术方案：

第一方面，本发明提供一种基于应用性能监控的单指标参数采集方法，包括：

以纵向采集方式，采集性能监控单指标参数；

发送所述性能监控单指标参数至中间件；

对所述中间件所转发的性能监控单指标参数进行聚合计算。

一实施例中，所述中间件为kafka中间件，所述发送所述性能监控单指标参数至中间件包括：

发送所述性能监控单指标参数至kafka中间件的topic表中。

一实施例中，所述对所述中间件所转发的性能监控单指标参数进行聚合计算，包括：

从所述topic表中订阅所述性能监控单指标参数；