[发明专利]网络流量解析系统及方法

说明书

技术领域

本发明涉及一种通信网络。特别是涉及一种用于管理网络流量的网络流量解析系统及方法。

背景技术

网络流量包括通信网络管理任务，这些管理任务目的是为了提高网络资源的效率、确保应用流量的服务质量和增强网络操作的可靠性。管理任务包括网络流量统计，在网络流量统计领域，就目前的技术而言，主要技术有SNMP端口流量采集、ROMN探针采集、netflow采集。

目前，在SNMP端口流量采集、ROMN探针采集、netflow采集中目前存在以下问题：

1)利用SNMP协议采集流量，对被监视的各个网络端口进出的数据包数和字节数进行采集，但流量信息较为粗糙，而且无法区分流量的分布状况，也无法进行流量流向分析；

2)利用RMON协议采集流量，会耗用大量的CPU，而且需要在设备上安置RMON探针，缺乏内建的数据汇总机制；

3)利用netflow协议采集流量，数据量大，需要及时处理，而且对v9版本的netflow解析需要被动积累添加模板信息。

典型的流量采集系统结构如图1所示，包括依次相连的flow数据采集模块1、解析flow数据模块2和进行聚合或者直接呈现模块3。而在采集部分，主要做得工作就是接受netflow数据包，并对数据包中得每一条记录进行解析，将解析后的结果提供给上层进行聚合操作。

发明内容

本发明所要解决的技术问题是，提供一种能够有效的在不影响数据准确性的前提下缩减数据量的网络流量解析系统及方法。

本发明所采用的技术方案是：一种网络流量解析系统及方法。网络流量解析方法，是根据netflow记录中各个字域的依赖关系和数据量情况，构建多维结构，按照设备IP、TOS、协议类型、目的地址高位、流入设备端口号、目的端口、目的地址、源端口、源地址的顺序建立多维结构，根据所述的这些信息遍历多维结构中的流量记录，在遍历过程中对于子节点比较多的节点使用哈希算法，其他节点使用数组，找到相匹配的信息进行叠加操作，当达到一分钟时，写入文件，清空缓存，重新开始记录数据信息。

首先在路由器上开启netflow配置，在配置netflow过程中，使路由器将数据包发送到netflow采集服务器的指定端口，并采用设备IP、TOS、协议类型、流入设备端口号、目的端口、目的地址、源端口、源地址八个字域作为关键域，然后按照如下步骤接收并解析netflow数据：

1)建立socket连接监听路由器上指定的netflow发送到netflow采集服务器的端口；

2)当接收到netflow数据包时，根据netflow协议的格式，对数据包进行拆分，其中，对于一个netflow数据包，有一个或者多个netflow记录信息；

3)将解析到的netflow记录信息放到内存中，对多维结构进行遍历；

4)当遍历到最终节点的时候，对该节点中的流量大小和封包大小进行叠加；

5)当达到一分钟的时候，将内存中的信息写入流量采集服务上的临时文件，清空内存中的信息。

步骤3)所述的对多维结构进行遍历包括：按照设备IP、TOS、协议类型、目的地址高位、流入设备端口号、目的端口、目的地址、源端口、源地址的层次构建多维树形结构，从根节点遍历到最终节点，如果其中某个节点不存在，则在此节点下构建新节点；其中，在设备IP、TOS、协议类型、目的地址高位四个节点使用netflow记录中的值作为数据小标，获取下一个节点的索引，流入设备端口号、目的端口、目的地址、源端口、源地址五个节点使用netflow记录中的值作为关键值，进行快速哈希遍历，对于数组和哈希方法，使用关键域值作为id或者关键字进行查询。

所述的快速哈希遍历的过程是：

1)收到解析后的netflow记录信息后，以设备IP作为数组脚标，判断多维结构中是否存在设备IP节点，是遍历此节点下的信息，进入下一步骤，否则创建设备IP节点后再遍历此节点下的信息，进入下一步骤；

2)以设备TOS作为数组脚标，判断多维结构中是否存在设备TOS，是遍历此节点下的信息，进入下一步骤，否则创建设备TOS后再遍历此节点下的信息，进入下一步骤；

3)以协议类型值作为数组脚标，判断多维结构中是否有协议类型节点，有遍历此节点下的信息，进入下一步骤，否则创建协议类型节点后再遍历此节点下的信息，进入下一步骤；