[发明专利]一种流量动态可控的系统监控数据采集方法

权利要求书

1.一种流量动态可控的系统监控数据采集方法,其特征在于所述的流量动态可控的监控数据采集方法主要分为三个部分，分别是监控数据异步采集处理，流量控制开启检测和流控数据合并机制；

所述的监控数据异步采集处理方法如下：通过调用系统线程接口，监控模块在初始化后启动一个单独的监控数据处理线程负责系统数据的多目标处理输出；单独的监控数据处理线程不停轮询数据输出请求队列，一旦发现有新的请求时，就从队头弹出数据记录并执行真正的输出请求，一直到将队列中的记录处理完毕；

所述的流量控制开启检测方法如下：监控数据采集库的采集接口在进行数据入队操作时，会实时检查系统监控事件的发生频率，并动态调整采集数据的流量，从而避免大量数据操作对系统整体性能的冲击，流控算法首先在流控检测周期内计数到达队列的数据请求数目，一旦该请求数达到或超过请求数阈值，就立即开启流量控制机制，并一直持续到流控执行周期的时间段结束。因此，动态流控的一个总周期可以划分为两个阶段：流控检测阶段T_d和流控执行阶段T_e；

所述的流控数据合并机制方法如下：在流控执行周期，监控数据采集库的采集接口不再将新到的数据加入数据输出请求队列，而是通过初始化时的哈希表进行相同特征数据的合并，从而降低实际数据流量的目标，数据的合并机制是：对于未出现过的特征数据类型，在哈希表里面增加一条；否则，只增加相同记录类型的计数。

2.如权利要求1所述的一种流量动态可控的系统监控数据采集方法，其特征在于所述的单独的监控数据处理线程的数据输出工作为屏幕打印或进行磁盘文件写入或通过网络传输数据至远程的数据库服务器。

3.如权利要求1所述的一种流量动态可控的系统监控数据采集方法，其特征在于所述的流控检测周期设为0，表示始终不执行流控；如果数据输出请求数阈值设为0，表示始终执行流控机制。

4.如权利要求1所述的一种流量动态可控的系统监控数据采集方法，其特征在于所述的监控数据异步采集处理方法需在采集模块初始化时选定异步数据输出请求队列长度，队列长度过小会导致大量监控数据无法入队而被丢弃，所述的异步数据输出请求队列长度选定方法如下：

监控事件数据的到达和监控事件数据的落地之差即为该时间段的队列长度的变化量Δ，在上一个交易日D_T-1，令e_i表示第i秒内发生的事件数，对每条采集的数据定义了m个输出目标，每个输出目标可以通过性能测试数据的平均值获得其单条数据处理时间的期望值那么单位时间内m个目标的总服务速度（可以处理的数据）为综上，第i秒对队列的改变量为：

Δ＝e_i-ν_m   (1)

设第i-1秒后的队列长度为L_i-1，那么第i秒后的队列长度即为：

L_i＝max(L_i-1+Δ,0)   (2)

注意因为队列长度不可以为负数，所以在服务速度大于数据到达速度的场景下，队列最小为0；

交易时段总长为t，那么在D_T-1的整个交易时段内队列长度出现过的最大值便可以作为未来队列长度的基准值L_q：

其中α为调和系数，即对历史数据中最坏情况下的队列长度再进行一定系数的放大，以保证未来使用该基准值后，监控数据被丢弃的概率很小，c为某个正整数常量，用于保证队列基准值的最小值，其选取值可以是任意一秒的非零事件数e_i（e_i＞0）。

5.如权利要求1所述的一种流量动态可控的系统监控数据采集方法，其特征在于所述的流量控制具体方法如下：

将一个流控周期T_w划分为流控检测阶段T_d和流控执行阶段T_e，定义λ＝m/T_d，其中，λ为数据到达速度的上限阈值，m为数据输出请求数阈值，数据到达速度超过该阈值时，认为磁盘读写会对系统性能产生不良影响，对于相同的λ值，m设置的越低，T_d就越低，即在一个周期内会越早进入流控执行阶段，系统总体性能的损耗会越少；另一方面，越早进入流控执行阶段，就有越多的监控信息被压缩合并，对输出结果的质量产生削弱。