[发明专利]全流量存储回溯分析系统中父子连接的处理方法

说明书

本发明涉及数据的分析处理技术领域，具体提供一种全流量存储回溯分析系统中父子连接的处理方法，包括如下步骤：确定每个worker线程的端口范围，建立每个worker线程与端口的映射关系；基于上述设置的映射关系，配置流量的两个方向，一个方向选择来源端口配置，另一个方向选择目的端口配置；构建每个worker线程局部的数据连接哈希映射表；分别对控制连接、数据连接以及存储线程进行处理。本发明保证了父子连接报文的应用识别准确性的同时，也没有使得同一ip地址分配到同一线程带来的负载均衡引起的健壮性问题，还能提升整体的高并发性能。

技术领域

本发明涉及数据的分析处理技术领域，具体提供一种全流量存储回溯分析系统中父子连接的处理方法。

背景技术

对于安全厂商而言，防火墙和全流量存储回溯分析系统虽然都是对流量进行分析处理，但是对数据连接报文的处理逻辑却是不同的。这是因为防火墙等系统可以保证控制连接和数据连接的报文时序，而全流量存储回溯分析系统则是对报文的镜像处理，因为多核系统处理报文驱动收包，故而处理全流量存储的线程无法保证控制连接和数据连接被同一worker线程收到，更无法保证控制连接会比数据连接先处理。这对于流量分析系统而言，数据连接需要依赖控制连接才能识别出来应用类型，如果数据连接比控制连接识别出来还慢，很可能影响了应用识别的准确度，造成漏报。

以ftp被动PASV为例，为了解决服务器发起到客户的连接问题，当客户端通知服务器它处于被动模式时才启用。在被动方式FTP中，控制连接和数据连接都由客户端发起，这样就可以解决从服务器到客户端的数据端口的入方向连接被防火墙过滤掉的问题。

与主动方式的FTP不同，客户端不会提交PORT命令并允许服务器来回连它的数据端口，而是提交 PASV命令，这样做的结果是服务器会开启一个任意的非特权端口（端口号大于1024，假设为PortA），并发送PORT P命令给客户端。客户端收到后发起从本地端口（端口号大于1024，假设为PortB），到服务器的端口PortA的连接用来传送数据。对于ftp而言，未能及时识别出ftp流量的后果是，无法实时处理ftp数据连接中的文件提取功能，来检测ftp中下载的流量是否为病毒，是否需要沙箱处理。

对于防火墙，由于是实时处理ftp流量，控制连接建立后才会建立数据连接，但是对于全流量存储系统而言，处理逻辑为镜像处理报文无法保证数据连接的处理时序。业内的通用做法是捕获进程与分析进程分而治之，捕获进程负责负载均衡将同一ip的报文送入同一个分析进程，因为父子连接的ip地址相同，故而可以保证分析进程处理父子连接时是按照时序处理的。但是这种设计方案会增加进程切换以及报文在线程之间流转，也会造成cache miss，从而影响性能。

由于将捕获线程和分析线程分开的弊端，业内的另一种做法是捕获线程同时做分析处理，即两者合二为一，但是需要保证父子连接被同一捕获线程收到，这需要利用硬件收包驱动配置，使同一（sip，dip）或者是同一sip或者同一dip的报文被同一捕获线程收到，但是这种很容易造成负载不均衡，从而影响系统的健壮性。

对于全流量存储回溯系统中ftp父子连接的处理属于流量分析的一部分，它并非全流量存储系统中的关键功能，各个厂商对其并未特别处理，要么牺牲性能，要么牺牲负载均衡带来的健壮性，要不就忍受多核处理父子连接时序的错乱带来的漏报问题。

发明内容

为了解决上述技术问题，本发明提供了一种全流量存储回溯分析系统中父子连接的处理方法，对父子连接进行优化设计，保证了父子连接报文的应用识别准确性的同时，也没有使得同一ip地址分配到同一线程带来的负载均衡引起的健壮性问题，还能提升整体的高并发性能。

本发明是这样实现的，提供一种全流量存储回溯分析系统中父子连接的处理方法，包括如下步骤：

1）确定每个worker线程的端口范围，建立每个worker线程与端口的映射关系；