[发明专利]一种网络流量数据存储、还原方法及系统在审
申请号: | 201811359243.9 | 申请日: | 2018-11-15 |
公开(公告)号: | CN109614518A | 公开(公告)日: | 2019-04-12 |
发明(设计)人: | 赵磊 | 申请(专利权)人: | 深圳市酷开网络科技有限公司 |
主分类号: | G06F16/84 | 分类号: | G06F16/84;H04L29/06 |
代理公司: | 深圳市君胜知识产权代理事务所(普通合伙) 44268 | 代理人: | 王永文;刘文求 |
地址: | 518052 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据流 数据包 映射关系 还原 存储 网络流量数据 初始网络 查询条件 存储区间 独立存储 管理能力 还原效率 数据内容 信息还原 用户设置 时间戳 映射 两层 缓解 | ||
1.一种网络流量数据存储方法,其特征在于,所述网络流量数据存储方法包括以下步骤:
获取流式传输的初始网络数据包;
将每一个流式传输的初始网络数据包添加时间戳后进行组合,记为第一网络数据包,存储至第一缓存区;
解析所述第一网络数据包,转化并生成数据流存储至第二缓存区,并建立数据流与初始网络数据包的第一映射关系,存储至第一映射表;
将每条数据流添加数据流ID,提取数据流中的数据内容信息并分析,同时建立数据流ID与数据内容信息的第二映射关系,存储至第二映射表。
2.根据权利要求1所述的网络流量数据存储方法,其特征在于,所述时间戳是唯一标识所述初始网络数据包,所述数据流ID是唯一标识所述数据流。
3.根据权利要求1所述的网络流量数据存储方法,其特征在于,所述解析所述第一网络数据包,转化并生成数据流存储至第二缓存区,并建立数据流与初始网络数据包的第一映射关系,同时存储至第一映射表具体包括:
根据传输协议,解析所述第一网络数据包中初始网络数据包,得到初始网络数据包的源IP、目的IP、源端口、目的端口和方向;
将解析得到的源IP、目的IP、源端口、目的端口和方向分别转化以组合生成数据包索引数组;
将时间戳、源IP、目的IP、源端口、目的端口、方向以及数据包索引数组按列排序生成数据流,存储至第二缓存区;
同时建立数据流与初始网络数据包的第一映射关系,存储至第一映射表。
4.根据权利要求1所述的网络流量数据存储方法,其特征在于,所述将每条数据流添加数据流ID,提取数据流中的数据内容信息并分析,同时建立数据流ID与数据内容信息的第二映射关系,以存储至第二映射表具体包括:
获取数据流的信息,将每条数据流添加数据流ID;其中,所述数据流的信息包括协议和数据内容;
提取数据流中的数据内容信息,并进行文本分析,生成文本关键字;
同时建立数据流ID与数据内容信息的第二映射关系,存储至第二映射表。
5.一种基于如权利要求1-4任一项所述的网络流量数据存储方法用以实现网络流量数据还原方法,其特征在于,所述网络流量数据还原方法包括以下步骤:
获取用户设置的查询条件,所述查询条件至少包括数据内容、时间范围以及源IP、目的IP、源端口、目的端口、方向、数据包索引数组中一种或多种;
根据查询条件及第二映射关系,筛选出第二映射表中符合查询条件的用于还原的数据流ID;
根据筛选出的数据流ID、第一映射关系以及查询条件,筛选出第一映射表中符合查询条件的用于还原的初始网络数据包;
获取第一缓存区中初始网络数据包对应的时间戳,将用于还原的初始网络数据包按照时间戳序列拼接成标准网络数据存储格式;
还原得到了流式传输的初始网络数据包。
6.根据权利要求5所述的网络流量数据还原方法,其特征在于,所述根据查询条件及第二映射关系,筛选出第二映射表中符合查询条件的用于还原的数据流ID具体包括:
提取出所述查询条件的数据内容,根据数据内容与数据流ID的第二映射关系,在第二映射表中查找符合查询条件的若干个数据流ID。
7.根据权利要求6所述的网络流量数据还原方法,其特征在于,所述根据筛选出的数据流ID、第一映射关系以及查询条件,筛选出第一映射表中符合查询条件的用于还原的初始网络数据包具体包括:
获取所述若干个数据流ID以及数据流与初始网络数据包的第一映射关系,提取查询条件中的时间范围,在第一映射表中筛选出对应的用于还原的若干个初始网络数据包。
8.根据权利要求5所述的网络流量数据还原方法,其特征在于,所述标准网络数据存储格式为PCAP格式。
9.一种网络流量数据存储系统,其特征在于,所述网络流量数据存储系统包括第一缓存区、第二缓存区及一处理器,所述网络流量数据存储系统运行时,通过处理器执行时实现权利要求1-4任一项所述网络流量数据存储方法。
10.一种网络流量数据还原系统,其特征在于,所述网络流量数据还原系统包括如权利要求9所述的网络流量数据存储系统,所述网络流量数据还原系统运行时,通过处理器执行时实现权利要求5-8任一项所述网络流量数据还原方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳市酷开网络科技有限公司,未经深圳市酷开网络科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811359243.9/1.html,转载请声明来源钻瓜专利网。
- 上一篇:视频的分类方法、装置、设备及存储介质
- 下一篇:数据导入方法和数据导入装置