[发明专利]pcap文件的快速数据索引方法及装置

说明书

本发明实施例公开了一种pcap文件的快速数据索引方法及装置，方法包括：抓取网络数据包；根据网络数据包生成同名的索引文件和pcap文件，并将同名的索引文件和pcap文件保存至硬盘中；将一个或多个索引文件读入到内存中；接收用户输入的查询条件，并根据查询条件生成当前索引值；根据当前索引值查找索引文件中的文件偏移和数据长度；根据文件偏移和数据长度从对应的pcap文件中读取查找的内容；将查找的内容展示给用户。实施本发明实施例，构建pcap文件的同时生成索引文件，保存了数据在pcap文件中的偏移和数据长度，从而加快了检索大流量pcap文件或多pcap文件中数据的速度，进而提高了数据分析的效率。

技术领域

本发明涉及计算机技术领域，具体涉及一种pcap文件的快速数据索引方法及装置。

背景技术

pcap格式文件是网络数据持久化的的一种方式，通常被用于网络数据统计、网络监控、网络分析等场景下。而构建pcap格式文件可以使用wireshark、libpcap、winpcap等程序和库。

目前对于pcap的使用大致流程为使用一种工具或调用libpcap库编写代码，对网络进行抓包生成pcap格式文件，然后使用wireshark等工具打开pcap文件，对网络进行分析。传统构建和分析pcap的缺点是，当数据流量巨大时，无法对pcap中具体的五元组(源ip、目的ip、源端口、目的端口、协议)对应的数据进行快速索引。目前需要使用工具(wireshark)或编写代码将巨大的pcap文件读到内存中，逐条匹配数据的五元组信息，这将是一个非常缓慢的过程。即使将网络流量分到多个pcap文件进行，仍然会面对需要将所有pcap文件读到内存中才能索引到具体数据的问题，这个过程不光慢而且耗费内存。

发明内容

本发明实施例的目的在于提供一种pcap文件的快速数据索引方法及装置，以加快检索大流量pcap文件或多pcap文件中数据的速度，提高数据分析的效率。

为实现上述目的，第一方面，本发明实施例提供了一种pcap文件的快速数据索引方法，包括：

抓取网络数据包；

根据所述网络数据包生成同名的索引文件和pcap文件，并将同名的索引文件和pcap文件保存至硬盘中；

将一个或多个所述索引文件读入到内存中；

接收用户输入的查询条件，并根据所述查询条件生成当前索引值，所述查询条件包括源ip地址、目的ip地址、源端口、目的端口和协议中的一种或多种；

根据所述当前索引值查找索引文件中的文件偏移和数据长度；

根据所述文件偏移和数据长度从对应的pcap文件中读取查找的内容；

将查找的内容展示给用户。

作为本申请的一种具体实施方式，该快速数据索引方法包括：

步骤S1：根据五元组信息生成原始索引值；

步骤S2：判断所述原始索引值是否存入当前pcap文件，若否，则执行步骤S3，反之，执行步骤S4；

步骤S3：创建pcap格式文件；

步骤S4：计算pcap文件的当前写入位置和数据包大小，并生成三元组，所述三元组包括索引值、文件偏移和数据长度；

步骤S5：将三元组持久化固化到硬盘，并生成所述索引文件；

步骤S6：生成与所述索引文件同名的pcap文件。

其中，所述五元组信息包括源ip地址、目的ip地址、源端口、目的端口和协议。

作为本申请的一种具体实施方式，根据所述当前索引值查找索引文件中的文件偏移和数据长度，具体包括：