[发明专利]一种基于高密度网络流量的数据报文处理方法

摘要

本发明提供一种基于高密度网络流量的数据报文处理方法，本发明的技术方案是一种基于高密度网络流量的数据报文处理方法，该方法包括高密度报文物理处理交换系统与高密度报文逻辑处理交换系统，所述的高密度报文物理处理交换系统流程包括，当用户发生网络访问行为时，所产生的上网行为数据报文通过其所连接的网络进行传输；该网络由用户使用端、交换机与互联网组成；用户使用端通过交换机的交换系统分配连接于互联网上；本发明的有益效果是，由于采用上述技术方案，本方法完全采用网络光复用原理(即分光模式)进行(也可以兼容端口镜像的方式)，因光传输设备不受网络交换机的端口理论最大速度所限制，因此该系统采用上下级分发模式。

主权项

一种基于高密度网络流量的数据报文处理方法，该方法包括高密度报文物理处理交换系统与高密度报文逻辑处理交换系统，其特征在于：所述的高密度报文物理处理交换系统流程包括，当用户发生网络访问行为时，所产生的上网行为数据报文通过其所连接的网络进行传输；该网络由用户使用端、交换机与互联网组成；用户使用端通过交换机的交换系统分配连接于互联网上；用户使用端与交换机的链路之间设置高密度数据报文处理系统；高密度数据报文处理系统即可以完全采用网络光复用原理进行，也可以兼容端口镜像的模式；系统采用上下级分发模式，在不超过光端口的最大值的状态下无线接收和处理网络中传输的数据报文；所述的高密度报文逻辑处理交换系统包括，采用多CPU核心并行列队高速缓存处理的处理原理；该处理原理的具体流程包括，首先建立数据缓存空间，使用alloc_bootmem接口，使调用函数族在内存管理子系统slab启动前调用；设定主处理设备内存容量为32G的情况下，分配网络数据包缓冲区为12G；而后建立hook数据包接收点，在网络数据包的统计接收点netif_receive_skb接口中添加一个自定义hook回调点netif_receive_skb_hook，实现该回调即可得到所有数据包；然后插入数据接收模块，将缓冲区以CPU个数进行分区，每一块区域都是对应的CPU核心的局部缓冲区，由某CPU核心接收的数据包即存储在该CPU核心的对应缓冲区中；最后建立数据分析过滤模块及高速数据对比算法，依次取CPU核心中一个局部缓冲区中的数据报文进行数据报文过滤分析；高速数据对比算法采用基于IP层的高速数据报文对比算法，所有虚拟队列缓存处理和高速比对算法都是在网络驱动层实现完毕，做到理论线性无延迟，再采用若干个数据并发处理引擎进行深度数据挖掘分析，当发现某一条数据报文中有异常时即可进行数据留存以便进行深度的数据挖掘分析。