[发明专利]一种流量动态可控的系统监控数据采集方法

摘要

本发明涉及数据采集和流量控制领域，具体是一种流量动态可控的系统监控数据采集方法,所述的流量动态可控的监控数据采集方法主要分为三个部分，分别是监控数据异步采集处理，流量控制开启检测和流控数据合并机制；所述的监控数据异步采集处理方法如下：通过调用系统线程接口，监控模块在初始化后启动一个单独的监控数据处理线程负责系统数据的多目标处理输出；动态流控的一个总周期可以划分为两个阶段：流控检测阶段Td和流控执行阶段Te。本发明同现有技术相比，其优点在于：通过流速权控制算法，保证关键实时系统的平稳运行，能够有效地满足不同监控目标的监控数据采集需求，并通过特征数据的合并方法，保证了落地数据的质量。

主权项

一种流量动态可控的系统监控数据采集方法,其特征在于所述的流量动态可控的监控数据采集方法主要分为三个部分，分别是监控数据异步采集处理，流量控制开启检测和流控数据合并机制；所述的监控数据异步采集处理方法如下：通过调用系统线程接口，监控模块在初始化后启动一个单独的监控数据处理线程负责系统数据的多目标处理输出；单独的监控数据处理线程不停轮询数据输出请求队列，一旦发现有新的请求时，就从队头弹出数据记录并执行真正的输出请求，一直到将队列中的记录处理完毕；所述的流量控制开启检测方法如下：监控数据采集库的采集接口在进行数据入队操作时，会实时检查系统监控事件的发生频率，并动态调整采集数据的流量，从而避免大量数据操作对系统整体性能的冲击，流控算法首先在流控检测周期内计数到达队列的数据请求数目，一旦该请求数达到或超过请求数阈值，就立即开启流量控制机制，并一直持续到流控执行周期的时间段结束。因此，动态流控的一个总周期可以划分为两个阶段：流控检测阶段Td和流控执行阶段Te；所述的流控数据合并机制方法如下：在流控执行周期，监控数据采集库的采集接口不再将新到的数据加入数据输出请求队列，而是通过初始化时的哈希表进行相同特征数据的合并，从而降低实际数据流量的目标，数据的合并机制是：对于未出现过的特征数据类型，在哈希表里面增加一条；否则，只增加相同记录类型的计数。