[发明专利]一种大数据级Pcap文件的处理方法及系统

摘要

本发明提出一种大数据级Pcap文件的处理方法及系统，首先计算系统内存，并在顺序读取Pcap文件的过程中动态计算系统内存使用率，当内存使用率达到规定数值时停止读取，并标记标志位，对一次读取的数据进行分析后释放内存，返回标志位继续对Pcap文件进行读取，直至Pcap文件被完整处理。本发明结合系统内存情况对大数据级Pcap文件进行分批读取，有效保证了系统处理数据的速度，提高数据分析效率；进一步地，根据本发明可对处理的Pcap文件的完整性进行校验，保证了数据的完整性和处理结果的准确性。

主权项

一种大数据级Pcap文件的处理方法，其特征在于，包括如下步骤：步骤1：获取系统内存信息，计算系统容量；步骤2：从Pcap文件头部开始顺序读取数据；步骤3：动态计算内存使用率，当内存使用率达到规定数值时，暂停读取数据；步骤4：在暂停读取数据的位置设置标志位，计算本次读取数据的特征值，并将标志位与特征值存储在日志文件中；步骤5：对本次读取数据进行分析，提取特征信息，按规定存储特征信息；步骤6：返回Pcap文件标志位的位置，擦除标记位，释放系统内存，顺序读取数据，并再次执行步骤3至步骤5；步骤7：重复步骤6，直至Pcap文件被完整处理。