[发明专利]日志采集系统线池自适应方法

摘要

日志采集系统线池自适应方法涉及日志采集系统中有关线程池的自适应问题。在日志采集系统增加基于事件驱动的检查器，设置与任务队列相关的阈值α、日志处理所需理论时间T_E和日志处理时间容忍度β三个参数创建线程池；系统每接受到一个日志即为一个事件，驱动检查器检测当前任务队列大小是否超过α；α＝2；如果超过则启动如下线程启发方法：计算tn定义为理论需要增加的线程个数，T_E定义为处理日志所需的理论时间，AVGT_Q定义为最近α次日志到达系统的平均间隔，P_T定义为系统当前时刻线程池中线程的数目；然后，判断tn与α大小，然后取较小值最为真正需要增加的线程数目；最后创建空闲等待时间大小为T_E的非核心线程或则日志做缓存处理。本发明动态调整线程池，保证日志快速处理。

主权项

日志采集系统线池自适应方法，其特征在于：在日志采集系统之中增加基于事件驱动的检查器，设置与任务队列相关的阈值α、日志处理所需理论时间T_E和日志处理时间容忍度β三个参数创建线程池；系统每接受到一个日志即为一个事件，驱动检查器检测当前任务队列大小是否超过α；α＝2；如果超过则启动如下线程启发方法：首先，计算tn定义为理论需要增加的线程个数，T_E定义为处理日志所需的理论时间，AVGT_Q定义为最近α次日志到达系统的平均间隔，P_T定义为系统当前时刻线程池中线程的数目；然后，判断tn与α大小，然后取较小值最为真正需要增加的线程数目；最后，计算AVGT_E>(1+β)T_E的真假值，AVGT_E定义为最近α次日志处理运行的平均值；如果为假值，则创建空闲等待时间大小为T_E的非核心线程，线程数目为tn与α的较小值，并从队列里取出日志进行处理；但是如果为真值，则日志做缓存处理；缓存日志就是将日志存储到先存储介质之上，然后等待系统空闲时再从存储介质读出日志，最后处理日志，即执行两次IO操作即输入输出操作，和一次处理日志操作；IO操作包含三步骤，分别为寻道、旋转和传送，因此IO操作时间等于执行三个步骤的时间总和；IO操作时间定义为T_IO，存储介质的寻道平均时间定义为T_F，存储介质的旋转速度定义为SP_R，存储介质的传送速度为SP_T，IO操作文件大小定义为S_F；由以上定义可知，$\mathrm{\β}\≥\frac{2\×T_{\mathrm{IO}}+T_E}{T_E}-1=\frac{2T_{\mathrm{IO}}}{T_E}.$