[发明专利]一种轻量级的大数据智能采集方法

权利要求书

1.一种轻量级的大数据智能采集方法，其特征是：包括以下步骤，

步骤一、建立数据存储的前置模块，内部包括批次控制器和修正控制器；建立数据存储的调度模块，包括刷新定时器和参数调节器，其中参数调节器包括配制池大小Pool_size调节器和延迟时间timeout调节器；

步骤二、设置前置模块的配制池大小Pool_size 初始值以及延迟时间timeout初始值，前置模块收集本地数据，直至数据量达到配制池大小Pool_size初始值，建立与缓冲队列的通道，将数据传输到存储器；或达到延迟时间timeout初始值，建立与缓冲队列的通道，将数据传输到存储器；

步骤三、调度模块实时监控各个采集客户端与缓冲队列之间的通信情况，收集一个周期内的关键通信指标，包括每个采集客户端每次与缓冲队列传输的数据条数patch_size以及每次传输到达缓冲队列的时间reach_time数值；

步骤四、将每一个周期内每个采集客户端每次与缓冲队列传输的数据条数patch_size和每次传输到达缓冲队列的时间reach_time数值分别传递给Pool_size调节器和timeout调节器；

步骤五、Pool_size调节器将一个周期每个采集客户端每次与缓冲队列传输的数据条数patch_size进行平均值计算，将平均值patch_size_ave传输给刷新定时器，等待更新；

步骤六、Timeout调节器将一个周期每次传输到达缓冲队列的时间reach_time数值与上一次的传输到达缓冲队列的时间reach_time数值做差值运算，并将全部的差值取平均值获得每个采集客户端的差值平均值timeout_ave，传输给刷新定时器，等待更新；

步骤七、将步骤六中获得的每个采集客户端的差值平均值timeout_ave再次取平均值，获得整个系统的差值平均值system_timeout_ave，将每个采集客户端的差值平均值timeout_ave和整个系统的差值平均值system_timeout_ave做差值运算，得到每个采集客户端与整个系统的差值平均值system_timeout_ave之间的偏离度，将偏离度结果储存在系统偏离数组diverge[]内，并传输给刷新定时器，等待更新；

步骤八、刷新定时器的时间达到预设时间，刷新定时器将每个采集客户端的平均值patch_size_ave、差值平均值timeout_ave以及系统偏离数组diverge[]传输给前置模块；

步骤九、前置模块内部的批次控制器进行赋值，Pool_size=patch_size_ave，timeout=timeout_ave，将系统偏离数组diverge[]传递给修正控制器，修正控制器在每次请求到达时会生成一个随机数Ran，随机数Ran为介于0～1之间的二位精度小数，同时将采集客户端的偏离值d与随机数Ran取乘积，将乘积值和批次控制器内的延迟时间timeout数值做加法运算，作为本次请求的实际延时时间timeout，计算公式为：

本次请求的实际延时时间timeout = timeout+Ran*d ；

步骤十、重复步骤一至步骤九进行调度模块每一个周期的持续迭代，通过前置模块的批次控制，保持参数持续优化。

2.根据权利要求1所述的一种轻量级的大数据智能采集方法，其特征是：所述步骤九中的偏离值d为系统偏离数组diverage[]内相对应的采集客户端的偏离值，为正数、零或负数。

3.根据权利要求1所述的一种轻量级的大数据智能采集方法，其特征是：所述前置模块设置在采集客户端内，用于批量数据传输控制。