[发明专利]网络流量数据的筛选方法及装置、计算机可读存储介质在审

专利信息
申请号: 202110206701.0 申请日: 2021-02-24
公开(公告)号: CN112948460A 公开(公告)日: 2021-06-11
发明(设计)人: 韦云川;黄俞荣;潘文彬 申请(专利权)人: 山石网科通信技术股份有限公司
主分类号: G06F16/2458 分类号: G06F16/2458;G06F16/2455;G06F16/23
代理公司: 北京康信知识产权代理有限责任公司 11240 代理人: 周春枚
地址: 215163 江*** 国省代码: 江苏;32
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 网络流量 数据 筛选 方法 装置 计算机 可读 存储 介质
【说明书】:

发明公开了一种网络流量数据的筛选方法及装置、计算机可读存储介质。其中,该筛选方法包括:通过确定每个流量维度的统计参考数量和待统计的网络流量字段,之后读取预设时间段内与每个网络流量字段对应的所有流量数据,最后基于统计参考数量,采用预设统计算法筛选每个网络流量字段对应的所有流量数据,以得到满足统计参考数量的所有网络流量字段的流量数据。本发明解决了相关技术中仅能实现单一维度的网络流量统计,难以统计分析多维度流量数据的技术问题。

技术领域

本发明涉及数据处理技术领域,具体而言,涉及一种网络流量数据的筛选方法及装置、计算机可读存储介质。

背景技术

随着企业级网络设备流量日趋复杂,寻找一种在多维度上分析网络主要流量显得尤为重要。当前,网络设备流量有源、目的、应用等任意组合产生的流量,可以通过统计多维度流量数据,分析网络流量的关系。例如,已记录最近一月的监控数据,需要统计某个IP在最近一月内访问的目的IP排名、应用排名及趋势。因此,可以考虑采用多维度流量统计数据以满足此类灵活多变的统计需求,但是采用多维度流量统计数据,计算量很大,例如,规定每5分钟统计一次,并记录3种维度:源IP1万个,目的IP10万个,应用1000个,那么每5分钟最多就要记录1万*10万*1000=1万亿条,如果直接全部记录,数据量太大,超过一般网络设备硬件的承载能力。

相关技术中,分析网络流量的方式为:按照单一维度记录,每个维度独立统计,不做关联,这样无法得到完整的全维度信息,例如,需要查看最近一月内源IP【192.168.0.1】,应用为【FTP】,访问了哪些目的IP,并且查看每个目的IP访问的流量趋势,使用以上方法无法满足需求。如果自定义统计规则,例如,自定义规则为:源IP【192.168.0.1】,应用为【FTP】,统计【目的IP排名及趋势】,那么,只有在流量经过时,筛选数据符合过滤条件的才进行记录,这样就能得到指定条件下的排名或者趋势数据,但需要预设条件,无法满足随时变化查询条件的需求。

针对上述的问题,目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种网络流量数据的筛选方法及装置、计算机可读存储介质,以至少解决相关技术中仅能实现单一维度的网络流量统计,难以统计分析多维度流量数据的技术问题。

根据本发明实施例的一个方面,提供了一种网络流量数据的筛选方法,包括:确定每个流量维度的统计参考数量和待统计的网络流量字段;读取预设时间段内与每个所述网络流量字段对应的所有流量数据;基于所述统计参考数量,采用预设统计算法筛选每个所述网络流量字段对应的所有流量数据,以得到满足所述统计参考数量的所有网络流量字段的流量数据。

可选地,确定每个流量维度的统计参考数量和待统计的网络流量字段的步骤,包括:获取当前统计设备的硬件参数和流量数据的筛选精度参数;基于所述硬件参数和所述筛选精度参数,确定每个所述流量维度的统计参考数量。

可选地,所述待统计的网络流量字段包括下述至少之一:源IP、目的IP、应用、流量字节数和时间戳。

可选地,读取预设时间段内与每个所述网络流量字段对应的所有流量数据的步骤,包括:在当前统计设备的设备内存中建立多个临时缓存区;读取所述预设时间段内的所有流量会话数据;基于所述待统计的网络流量字段,筛选所述所有流量会话数据,得到第一筛选结果;将所述第一筛选结果与所述临时缓存区中的历史流量数据进行匹配,得到匹配结果;若所述匹配结果指示流量会话数据中满足所述网络流量字段的流量数据与所述历史流量数据都不相同,则向所述临时缓存区插入所述流量会话数据;若所述匹配结果指示流量会话数据中满足所述网络流量字段的流量数据与所述历史流量数据存在相同会话数据,则将所述临时缓存区中存储的历史流量数据中的流量字节数进行更新处理。

可选地,采用预设统计算法筛选每个所述网络流量字段对应的所有流量数据,以得到满足所述统计参考数量的所有网络流量字段的流量数据的步骤,包括:按照预设排序算法对所有流量数据进行排序;对排序位置在预设参考位置之后的流量数据删除。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于山石网科通信技术股份有限公司,未经山石网科通信技术股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202110206701.0/2.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top