[发明专利]网络流量数据的筛选方法及装置、计算机可读存储介质

权利要求书

1.一种网络流量数据的筛选方法，其特征在于，包括：

确定每个流量维度的统计参考数量和待统计的网络流量字段；

读取预设时间段内与每个所述网络流量字段对应的所有流量数据；

基于所述统计参考数量，采用预设统计算法筛选每个所述网络流量字段对应的所有流量数据，以得到满足所述统计参考数量的所有网络流量字段的流量数据。

2.根据权利要求1所述的筛选方法，其特征在于，确定每个流量维度的统计参考数量和待统计的网络流量字段的步骤，包括：

获取当前统计设备的硬件参数和流量数据的筛选精度参数；

基于所述硬件参数和所述筛选精度参数，确定每个所述流量维度的统计参考数量。

3.根据权利要求1至2中任意一项所述的筛选方法，其特征在于，所述待统计的网络流量字段包括下述至少之一：源IP、目的IP、应用、流量字节数和时间戳。

4.根据权利要求1所述的筛选方法，其特征在于，读取预设时间段内与每个所述网络流量字段对应的所有流量数据的步骤，包括：

在当前统计设备的设备内存中建立多个临时缓存区；

读取所述预设时间段内的所有流量会话数据；

基于所述待统计的网络流量字段，筛选所述所有流量会话数据，得到第一筛选结果；

将所述第一筛选结果与所述临时缓存区中的历史流量数据进行匹配，得到匹配结果；

若所述匹配结果指示流量会话数据中满足所述网络流量字段的流量数据与所述历史流量数据都不相同，则向所述临时缓存区插入所述流量会话数据；

若所述匹配结果指示流量会话数据中满足所述网络流量字段的流量数据与所述历史流量数据存在相同会话数据，则将所述临时缓存区中存储的历史流量数据中的流量字节数进行更新处理。

5.根据权利要求1所述的筛选方法，其特征在于，采用预设统计算法筛选每个所述网络流量字段对应的所有流量数据，以得到满足所述统计参考数量的所有网络流量字段的流量数据的步骤，包括：

按照预设排序算法对所有流量数据进行排序；

对排序位置在预设参考位置之后的流量数据删除。

6.根据权利要求1所述的筛选方法，其特征在于，采用预设统计算法筛选每个所述网络流量字段对应的所有流量数据，以得到满足所述统计参考数量的所有网络流量字段的流量数据的步骤，包括：

对每个所述网络流量字段的所有流量数据进行哈希运算，得到多个子流量数据；

采用多个线程分别对每个所述子流量数据进行入库存储操作，得到满足所述统计参考数量的所有网络流量字段的流量数据。

7.根据权利要求1所述的筛选方法，其特征在于，所述筛选方法还包括：

在得到满足所述统计参考数量的所有网络流量字段的流量数据之后，清空所有流量统计队列。

8.根据权利要求1所述的筛选方法，其特征在于，所述筛选方法还包括：

对满足所述统计参考数量的所有网络流量字段的流量数据进行准确度评估，得到评估参数；

基于所述评估参数，调整预设时间段内的数据删除次数。

9.一种网络流量数据的筛选装置，其特征在于，包括：

确定单元，用于确定每个流量维度的统计参考数量和待统计的网络流量字段；

读取单元，用于读取预设时间段内与每个所述网络流量字段对应的所有流量数据；

输出单元，用于基于所述统计参考数量，采用预设统计算法筛选每个所述网络流量字段对应的所有流量数据，以得到满足所述统计参考数量的所有网络流量字段的流量数据。

10.一种计算机可读存储介质，其特征在于，所述存储介质用于存储计算机程序，其中，所述计算机程序在被处理器执行时控制所述计算机可读存储介质所在设备执行权利要求1至8中任意一项所述的网络流量数据的筛选方法。