[发明专利]一种轻量级的大数据智能采集方法

摘要

一种轻量级的大数据智能采集方法，属于提升数据采集性能技术领域，本发明引入动态可调整的“批量+超时”传输策略，通过将采集的数据批次进行传输，该批次策略通过条数和时间两个维度进行控制，保证了超大规模下采集客户端与缓冲队列之间不会过于频繁的建立连接通道，保证了数据不会丢失，同时减轻被采集侧生产系统压力；并且上述的条数和时间两个维度的值会受到外部调度模块的定期调整，保证到达缓冲队列的请求分布均匀，整体提高系统稳定性。

主权项

1.一种轻量级的大数据智能采集方法，其特征是：包括以下步骤，步骤一、建立数据存储的前置模块，内部包括批次控制器和修正控制器；建立数据存储的调度模块，包括刷新定时器和参数调节器，其中参数调节器包括Pool_size调节器和timeout调节器；步骤二、设置前置模块的配制池大小Pool_size初始值以及延迟时间timeout初始值，前置模块收集本地数据，直至数据量达到Pool_size初始值，建立与缓冲队列的通道，将数据传输到存储器；或达到timeout初始值，建立与缓冲队列的通道，将数据传输到存储器；步骤三、调度模块实时监控各个采集客户端与缓冲队列之间的通信情况，收集一个周期内的关键通信指标，包括每个客户端每次与缓冲队列传输的数据条数patch_size以及每次传输到达缓冲队列的时间reach_time；步骤四、将每一个周期内每次请求的patch_size和reach_time数值分别传递给Pool_size调节器和timeout调节器；步骤五、Pool_size调节器将一个周期每次请求的patch_size进行平均值计算，将平均值patch_size_ave传输给刷新定时器，等待更新；步骤六、Timeout调节器将一个周期每次请求的reach_time数值与上一次的reach_time数值做差值运算，并将全部的差值取平均值获得差值平均值timeout_ave，传输给刷新定时器，等待更新；步骤七、将步骤六中获得的每个采集客户端的差值平均值timeout_ave再次取平均值，获得整个系统的差值平均值system_timeout_ave，将每个采集客户端的差值平均值和系统差值平均值做差值运算，得到每个采集客户端与系统整体均值之间的偏离度，将偏离度结果储存在系统偏离数组diverge[]内，并传输给刷新定时器，等待更新；步骤八、刷新定时器的时间达到预设时间，刷新定时器将每个采集客户端的patch_size_ave、timeout_ave以及系统偏离数组diverge[]传输给前置模块；步骤九、前置模块内部的批量控制器进行赋值，Pool_size＝patch_size_ave，timeout＝timeout_ave，系统偏离数组diverge[]传递给修正控制器，修正控制器在每次请求到达时会生成一个随机数Ran，随机数Ran为介于0～1之间的二位精度小数，同时将本采集客户端的偏离值d与随机数Ran取乘积，将此乘积值和批次控制器内的timeout数字做加法运算，作为本次请求的实际超时值，计算公式为：本次请求的timeout＝timeout+Ran*d；步骤十、重复步骤一至步骤九进行调度模块每一个周期的持续迭代，通过前置模块的批次控制，保持参数持续优化。