[发明专利]一种基于大数据的网络数据采集系统

权利要求书

1.一种基于大数据的网络数据采集系统，其特征在于，包括：

采集模块，用于在第N个周期内，采集预设采集数量的网络数据；

均值及方差计算模块，用于计算并记录第N个周期内采集的网络数据的均值和方差；

第一更新模块，用于根据第N-1个周期、第N个周期内采集的网络数据的均值和方差，更新第N+1个周期的时长；

其中，N为不小于2的正整数，第1个周期的时长为预设初始值；

其中，所述网络数据采集系统还包括：

第一判断模块，用于判断N是否大于等于指定数量，是则触发第二判断模块工作，否则触发第一更新模块更新第N+1个周期的时长；

第二判断模块，用于根据第j个周期到第N个周期的各周期时长，判断第N个周期的时长变化是否超过预定标准，是则触发第一更新模块更新第N+1个周期的时长，否则触发第二更新模块更新第N+1个周期的时长；其中，j为大于等于1且小于N的正整数，且N-j+1＝M，M为所述指定数量；

第二更新模块，用于根据所述第j个周期到第N个周期的时长以及这些周期内采集的网络数据的均值和方差，更新第N+1个周期的时长。

2.如权利要求1所述的基于大数据的网络数据采集系统，其特征在于，所述第二判断模块，包括：

时长方差计算单元，用于计算所述第j个周期到第N个周期的时长方差；

判断单元，用于判断所述时长方差是否大于预设阈值，是则确定第N个周期的时长变化超过预定标准，否则确定第N个周期的时长变化未超过预定标准。

3.如权利要求1或2所述的基于大数据的网络数据采集系统，其特征在于，所述第二更新模块，具体用于根据以下公式更新第N+1个周期的时长：

其中，T_N+1为第N+1个周期的时长，T_i为第i个周期的时长，W_i为第i个周期的权重，为第i个周期内采集的网络数据的均值，S_i为第i个周期内采集的网络数据的方差，其中i＝j,…,N。

4.如权利要求3所述的基于大数据的网络数据采集系统，其特征在于，所述第二更新模块更新第N+1个周期的时长时使用的各个周期的权重值为1/M。

5.如权利要求3所述的基于大数据的网络数据采集系统，其特征在于，所述第二更新模块更新第N+1个周期的时长时使用的各个周期的权重值为：

其中，Z为使得成立的实数。

6.如权利要求1所述的基于大数据的网络数据采集系统，其特征在于，所述采集模块包括：

数据预处理单元，用于对采集的网络数据进行分类，将网络数据分为非噪声数据与噪声数据；

数据过滤单元，用于获取所述噪声数据中符合预设噪声标准的目标噪声数据与非噪声数据中的有效数据，对所述目标噪声数据进行修正处理，并将所述修正处理后的目标噪声数据与所述有效数据合成目标网络数据，再将所述目标网络数据存入数据库；

数据输出单元，用于将所述数据库中的所述目标网络数据输出至均值及方差计算模块；

其中，所述数据过滤单元，具体用于根据以下步骤对所述目标噪声数据进行修正处理：

步骤B1：所述数据过滤单元通过如下公式计算所述目标噪声数据对应的修正误差因子：

其中，μ₁为所述目标噪声数据对应的修正误差因子，C为预设的常数，C取值范围为(0，10)，m为所述目标噪声数据的数量，为预设的所述目标噪声数据的偏置，取值为(0,1)；Y_k为第k个目标噪声数据与所述预设噪声标准之间的匹配度，Y_max为所述m个目标噪声数据中与所述预设噪声标准之间的匹配度的最大值；

步骤B2：所述数据过滤单元根据计算的所述修正误差因子，通过如下公式计算所述目标噪声数据的修正误差值Q_Z：

步骤B3：所述数据过滤单元根据如下公式计算每个目标噪声数据对应的修正匹配度Y_0k：

当第k个目标噪声数据的Y_k等于或大于预设阈值时，采用如下公式计算第k个目标噪声数据的修正匹配度Y_0k：

Y_0k＝Y_k(1-Q_Z)

当第k个目标噪声数据的Y_k小于所述预设阈值时，采用如下公式计算第k个目标噪声数据的修正匹配度Y_0k：

Y_0k＝Y_k(1+Q_Z)

步骤B4：针对每个目标噪声数据：

当当前目标噪声数据的修正匹配度等于或大于所述预设阈值时，保留所述当前目标噪声数据；

当当前目标噪声数据的修正匹配度小于所述预设阈值时，剔除所述目标噪声数据。