[发明专利]一种全流量存储方法、系统和设备

说明书

本发明提供了一种全流量存储方法、系统和设备。所述方法包括若任一worker线程接收到同一会话的报文，将报文中的内网口上行流量和外网口下行流量存储于worker线程的不同存储链表中；若compare线程接收到同一会话的报文，将报文中的内网口下行流量和外网口上行流量存储于compare线程的不同存储链表中；当达到报文处理条件时，将compare线程的存储链表中存储的报文与同一会话的worker线程的存储链表中存储的报文进行比较，得到差别信息进行存储；当达到存储条件时，将增量存储信息发送至worker线程，使worker线程将增量存储信息与其在worker线程的存储链表中对应存储的报文发送至存储线程进行存储。以此方式，可以优化设计流量分析与存储，大幅提升整体性能。

技术领域

本发明一般涉及网络监测领域，并且更具体地，涉及一种全流量存储方法、系统和设备。

背景技术

对于安全厂商而言，全流量存储回溯系统通常具有数据包采集、协议解码与分析、流量统计、故障诊断与性能管理等多种功能为一体的网络分析产品，能够提供高精度网络诊断分析，多层次展现网络通信全景，有效地帮助网络管理者梳理网络应用。

当环境为办公网、生产网、政务内外网和数据中心时，通常设计为将全流量存储回溯设备以对流量镜像或分光的方式旁路部署在需监测网络流量的出入口。

一般而言，全流量回溯系统部署在内网出口与防火墙之间，如图1所示，从而采集上行和下行的流量。但是在此种部署下，如果防火墙出现异常丢包，那么就会出现全流量回溯系统无法捕捉到防火墙到外网，以及外网到防火墙之间的丢弃的报文。而对于客户而言，如果需要在防火墙与外网口之间再部署一台全流量回溯系统，那么一共需要两台全流量回溯系统，对客户而言开销巨大。而通用的全流量存储系统如果监督内网口和外网口，由于同一流量分别通过内网口和外网口，也就是一个会话的报文均存在两份，如果仅是存储功能则仅仅是将存储功能做了2份，但是现在的流量存储系统都包含流量识别功能，而流量分析识别是基于会话的，这种场景就需要同一会话的两个方向的报文均为2份，这种特殊场景通用的流量存储回溯系统是不支持的，再或者就是将其分为两个会话分别识别（内网口的上下行流量1个会话，外网口的上下行1个会话），相当于同一流量分析两次。

发明内容

根据本发明的实施例，提供了一种全流量存储方案。本方案基于内网口和外网口同时进行全流量存储的场景，优化设计流量分析与存储，大幅提升整体性能。

在本发明的第一方面，提供了一种全流量存储方法。该方法包括：

主线程配置若干个worker线程、一个compare线程和一个存储线程；

若任一所述worker线程接收到同一会话的报文，将所述报文中的内网口上行流量和外网口下行流量存储于所述worker线程的不同存储链表中；

若所述compare线程接收到同一会话的报文，将所述报文中的内网口下行流量和外网口上行流量存储于所述compare线程的不同存储链表中；当达到报文处理条件时，将所述compare线程的存储链表中存储的报文与同一会话的worker线程的存储链表中存储的报文进行比较，得到差别信息作为增量存储信息进行存储；当达到存储条件时，将所述增量存储信息发送至worker线程；

所述worker线程响应于compare线程发送的增量存储信息，将所述增量存储信息与其在所述worker线程的存储链表中对应存储的报文发送至存储线程；

所述存储线程接收并存储增量存储信息以及其在所述worker线程的存储链表中对应存储的报文。

进一步地，当所述worker线程接收到同一会话的报文时，查询所述报文对应的会话表；

若查询成功，则基于所述会话表将所述报文区分为内网口上行流量和外网口下行流量；

若查询失败，则创建会话表，将所述报文区分为内网口上行流量和外网口下行流量。