[发明专利]网络流量数据的筛选方法及装置、计算机可读存储介质在审
申请号: | 202110206701.0 | 申请日: | 2021-02-24 |
公开(公告)号: | CN112948460A | 公开(公告)日: | 2021-06-11 |
发明(设计)人: | 韦云川;黄俞荣;潘文彬 | 申请(专利权)人: | 山石网科通信技术股份有限公司 |
主分类号: | G06F16/2458 | 分类号: | G06F16/2458;G06F16/2455;G06F16/23 |
代理公司: | 北京康信知识产权代理有限责任公司 11240 | 代理人: | 周春枚 |
地址: | 215163 江*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 网络流量 数据 筛选 方法 装置 计算机 可读 存储 介质 | ||
本发明公开了一种网络流量数据的筛选方法及装置、计算机可读存储介质。其中,该筛选方法包括:通过确定每个流量维度的统计参考数量和待统计的网络流量字段,之后读取预设时间段内与每个网络流量字段对应的所有流量数据,最后基于统计参考数量,采用预设统计算法筛选每个网络流量字段对应的所有流量数据,以得到满足统计参考数量的所有网络流量字段的流量数据。本发明解决了相关技术中仅能实现单一维度的网络流量统计,难以统计分析多维度流量数据的技术问题。
技术领域
本发明涉及数据处理技术领域,具体而言,涉及一种网络流量数据的筛选方法及装置、计算机可读存储介质。
背景技术
随着企业级网络设备流量日趋复杂,寻找一种在多维度上分析网络主要流量显得尤为重要。当前,网络设备流量有源、目的、应用等任意组合产生的流量,可以通过统计多维度流量数据,分析网络流量的关系。例如,已记录最近一月的监控数据,需要统计某个IP在最近一月内访问的目的IP排名、应用排名及趋势。因此,可以考虑采用多维度流量统计数据以满足此类灵活多变的统计需求,但是采用多维度流量统计数据,计算量很大,例如,规定每5分钟统计一次,并记录3种维度:源IP1万个,目的IP10万个,应用1000个,那么每5分钟最多就要记录1万*10万*1000=1万亿条,如果直接全部记录,数据量太大,超过一般网络设备硬件的承载能力。
相关技术中,分析网络流量的方式为:按照单一维度记录,每个维度独立统计,不做关联,这样无法得到完整的全维度信息,例如,需要查看最近一月内源IP【192.168.0.1】,应用为【FTP】,访问了哪些目的IP,并且查看每个目的IP访问的流量趋势,使用以上方法无法满足需求。如果自定义统计规则,例如,自定义规则为:源IP【192.168.0.1】,应用为【FTP】,统计【目的IP排名及趋势】,那么,只有在流量经过时,筛选数据符合过滤条件的才进行记录,这样就能得到指定条件下的排名或者趋势数据,但需要预设条件,无法满足随时变化查询条件的需求。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种网络流量数据的筛选方法及装置、计算机可读存储介质,以至少解决相关技术中仅能实现单一维度的网络流量统计,难以统计分析多维度流量数据的技术问题。
根据本发明实施例的一个方面,提供了一种网络流量数据的筛选方法,包括:确定每个流量维度的统计参考数量和待统计的网络流量字段;读取预设时间段内与每个所述网络流量字段对应的所有流量数据;基于所述统计参考数量,采用预设统计算法筛选每个所述网络流量字段对应的所有流量数据,以得到满足所述统计参考数量的所有网络流量字段的流量数据。
可选地,确定每个流量维度的统计参考数量和待统计的网络流量字段的步骤,包括:获取当前统计设备的硬件参数和流量数据的筛选精度参数;基于所述硬件参数和所述筛选精度参数,确定每个所述流量维度的统计参考数量。
可选地,所述待统计的网络流量字段包括下述至少之一:源IP、目的IP、应用、流量字节数和时间戳。
可选地,读取预设时间段内与每个所述网络流量字段对应的所有流量数据的步骤,包括:在当前统计设备的设备内存中建立多个临时缓存区;读取所述预设时间段内的所有流量会话数据;基于所述待统计的网络流量字段,筛选所述所有流量会话数据,得到第一筛选结果;将所述第一筛选结果与所述临时缓存区中的历史流量数据进行匹配,得到匹配结果;若所述匹配结果指示流量会话数据中满足所述网络流量字段的流量数据与所述历史流量数据都不相同,则向所述临时缓存区插入所述流量会话数据;若所述匹配结果指示流量会话数据中满足所述网络流量字段的流量数据与所述历史流量数据存在相同会话数据,则将所述临时缓存区中存储的历史流量数据中的流量字节数进行更新处理。
可选地,采用预设统计算法筛选每个所述网络流量字段对应的所有流量数据,以得到满足所述统计参考数量的所有网络流量字段的流量数据的步骤,包括:按照预设排序算法对所有流量数据进行排序;对排序位置在预设参考位置之后的流量数据删除。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于山石网科通信技术股份有限公司,未经山石网科通信技术股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110206701.0/2.html,转载请声明来源钻瓜专利网。
- 上一篇:一种金融教学用经济学现象模拟沙盘
- 下一篇:车用甲醇替代汽油配套系统
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置