[发明专利]一种基于大数据的网络数据采集系统

说明书

本发明公开了一种基于大数据的网络数据采集系统，用于解决传统网络数据采集为固定频率，因不能动态的调整采集频率，导致对异常数据不能进行更严密监控的问题。所述系统包括采集模块，用于在第N个周期内，采集预设采集数量的网络数据；均值及方差计算模块，用于计算并记录第N个周期内采集的网络数据的均值和方差；第一更新模块，用于根据第N‑1个周期、第N个周期内采集的网络数据的均值和方差，更新第N+1个周期的时长。本发明能够根据网络数据中的异常数据情况动态的调整采集频率。

技术领域

本发明涉及网络数据安全技术领域，特别涉及一种基于大数据的网络数据采集系统。

背景技术

随着互联网技术的迅速发展，网络数据已经普及到生活的各个方面，给人民的生活和工作带来的巨大的方便。但是近几年网络安全问题越来越成为大家关注的对象，尤其是网络数据安全问题，为了对网络安全进行保护，需采集海量网络数据，并从这些海量大数据中检测异常数据，继而对这些异常数据进行更加严密的监控，达到提前预防的目的。但是，目前的数据采集系统都是固定采样频率，还没有根据采集的数据能够自适应调整采样参数的网络数据采集系统，如何自适应调整采样参数以对异常数据进行更好的监控是网络数据采集领域目前急需解决的问题。

发明内容

本发明提供一种基于大数据的网络数据采集系统，用于解决传统网络数据采集为固定频率，因不能根据异常数据情况动态的调整采集频率，导致对异常数据不能进行更严密监控的问题。本发明提供的基于大数据的网络数据采集系统，能根据异常数据情况，动态的调整采集周期时间，从而实现了对采集频率的调整，达到对异常数据进行更严密的监控的目的。

本发明提供的一种基于大数据的网络采集系统，包括：

采集模块，用于在第N个周期内，采集预设采集数量的网络数据；

均值及方差计算模块，用于计算并记录第N个周期内采集的网络数据的均值和方差；

第一更新模块，用于根据第N-1个周期、第N个周期内采集的网络数据的均值和方差，更新第N+1个周期的时长；

其中，N为不小于2的正整数，第1个周期的时长为预设初始值。

在一可选实施例中，所述第一更新模块，具体用于根据以下公式更新第N+1个周期的时长：

其中，T_N+1为第N+1个周期的时长，η₁∈(0,1),η₂∈(1,2)，S_N-1为第N-1个周期内采集的网络数据的均值和方差，S_N为第N个周期内采集的网络数据的均值和方差,T_N为第N个周期的时长。

在一可选实施例中，所述的基于大数据的网络数据采集系统，还包括：

第一判断模块，用于判断N是否大于等于指定数量，是则触发第二判断模块工作，否则触发第一更新模块更新第N+1个周期的时长；

第二判断模块，用于根据第j个周期到第N个周期的各周期时长，判断第N个周期的时长变化是否超过预定标准，是则触发第一更新模块更新第N+1个周期的时长，否则触发第二更新模块更新第N+1个周期的时长；其中，j为大于等于1且小于N的正整数，且N-j+1＝M，M为所述指定数量；

第二更新模块，用于根据所述第j个周期到第N个周期的时长以及这些周期内采集的网络数据的均值和方差，更新第N+1个周期的时长。

在一可选实施例中，所述第二判断模块，包括：

时长方差计算单元，用于计算所述第j个周期到第N个周期的时长方差；

判断单元，用于判断所述时长方差是否大于预设阈值，是则确定第N个周期的时长变化超过预定标准，否则确定第N个周期的时长变化未超过预定标准。