[发明专利]数据包检索系统和方法

说明书

本发明提供了一种数据包检索方法和系统，包括：检索数据获取步骤：从缓冲区中的数据包中获取检索数据；数据包压缩步骤：将缓冲区中的数据包压缩后写入磁场上的数据包文件中；概要信息存储步骤：存储所述检索数据和所述检索数据对应的数据块在所述数据包文件中的存储位置。本发明能够快速检索网络会话包，利用索引显著了提高了网络数据包的检索速度；解决了网络会话包存储中占用磁盘写入负荷过高的问题；减少了系统开销，使得网络数据包能够实时存储。

技术领域

本发明涉及网络性能监控领域，具体地，涉及数据包检索系统和方法，尤其是一种网络会话包实时存储和快速检索的系统和方法。

背景技术

随着社会科技的发展，网络已成为企业，尤其是金融企业，不可或缺的核心组成部分。

为了检索网络会话包等数据包，现有技术一，是不建立索引，每次检索网络会话包的时候都将原有存储在磁盘上的网络会话包文件全部读出后过滤，占用大量磁盘读入的资源，因此无法将网络会话包快速的检索出来。原因是，网络适配器的速率在不断增长，目前普遍已经达到10000Mbps，而机械磁盘的读写速率无法满足在网络会话包实时存储的情况下，根据指定的条件将网络会话包快速的检索出来。

为此技术人员进行了改进，现有技术二，是采用读写速率更快的SSD磁盘替换现有的机械磁盘，但是由于SSD磁盘价格远高于机械磁盘的价格，因此无法大规模采用。

由于价格问题技术人员进行了进一步的尝试，在仍旧使用机械磁盘的前提下，现有技术三，是传统的索引技术，对每一个网络会话包按照检索条件建立索引记录，例如专利文献CN106446028A和专利文献CN103281213A。虽然现有技术三相对而言优于现有技术一，但是，由于在10000Mbps网络适配器上普遍的每秒网络会话包数量会超过200M个，导致索引数据数量大，占用大量磁盘写入的资源和CPU资源，因此实际上导致网络会话包还是无法实时存储。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种数据包检索系统和方法。

根据本发明提供的一种数据包检索方法，包括：

检索数据获取步骤：从缓冲区中的数据包中获取检索数据；

数据包压缩步骤：将缓冲区中的数据包压缩后写入磁场上的数据包文件中；

概要信息存储步骤：存储所述检索数据和所述检索数据对应的数据块在所述数据包文件中的存储位置；

优选地，还包括：

索引生成步骤：根据所述检索数据和所述存储位置，生成索引数据。

数据包检索步骤：从指定的检索数据对应的数据块在所述数据包文件中的存储位置，读取数据块。

优选地，还包括：

过滤步骤：根据指定的检索数据，从读取到的数据块中过滤得到数据包。

优选地，所述概要信息存储步骤包括如下步骤：

概要信息压缩步骤：将所述检索数据和所述存储位置压缩后写入磁盘上的概要文件中。

优选地，所述检索数据获取步骤包括：

批量检索数据提取步骤：从缓冲区中缓冲到设定体积的批量数据包中获取检索数据。

根据本发明提供的一种数据包检索系统，包括：

检索数据获取模块：从缓冲区中的数据包中获取检索数据；

数据包压缩模块：将缓冲区中的数据包压缩后写入磁场上的数据包文件中；

概要信息存储模块：存储所述检索数据和所述检索数据对应的数据块在所述数据包文件中的存储位置；