[发明专利]一种网络流量采集方法

权利要求书

1.一种网络流量采集方法，其特征在于，包括以下步骤：

S1：在提供网络流量的服务器上抓取网络流量，以文件的形式保存为流量文件；

S2：将流量文件发送到数据安全监控平台所在服务器的指定目录下；

S3：在数据安全监控平台上，读取配置文件，获取流量文件的配置信息；配置信息包括流量文件所在目录、目录搜索层级、文件格式和文件排序方式；

S4：网络流量采集的扫描模块周期性地定时扫描指定目录，筛选出指定文件格式的文件，将所有未处理文件按照指定文件排序方式进行排序；

S5：网络流量采集的处理模块按照文件的排序顺序，依次读取文件信息、解析文件、获取网络报文包；

S6：网络协议解析程序解析网络流量，输出格式化数据，存入数据库；

S7：数据分析模块将格式化数据经过算法转换，输出分析结果，存入数据库，供web前端展示使用；

步骤S4中，前后两次间隔额定时间扫描文件，根据文件大小是否发生变化判断文件是否传输完成；

所述的间隔的额定时间大于或等于发送端发送超时时间；

步骤S4中，将位于指定目录及指定目录搜索层级下的除已处理文件及非目标格式文件以外的所有文件扫描出来，再按照指定排序方式进行排序；

步骤S5中每处理完一个文件后，在对应目录下生成相同文件名称加后缀“.tmp”的空文件；

步骤S4中每扫描到一个文件，判断是否存在同名带后缀“.tmp”的文件，若存在，则过滤该文件；

步骤S4到步骤S5中，采用单网络流量采集的扫描模块，多网络流量采集的处理模块的应用场景；

扫描模块往dpdk的无锁队列rte_ring中放入文件信息的地址，处理模块从dpdk的无锁队列rte_ring中取出文件信息地址，从对应地址获取文件信息，进行文件解析工作。

2.根据权利要求1所述的一种网络流量采集方法，其特征在于，在发送文件成功或采集文件成功后，增加删除文件配置项开关，判断是否需要删除文件。

3.根据权利要求1所述的一种网络流量采集方法，其特征在于，根据文件格式的特征进行网络报文包的读取；若文件符合对应的文件格式特征，则循环读取，获取网络报文及其基本信息；否则记录为异常包。