[发明专利]基于硬件多级表的输出流量控制方法

说明书

技术领域

本发明涉及高速网络流量监控领域，尤其是高速网络上超负载流量的控制方法。

背景技术

高速网络内容监控系统一般由前端数据捕获分流设备和后端分析系统组成，总体结构如图1所示。前端数据捕获分流设备完成网络接入、数据捕获和分流、数据过滤和分析等功能，主要由包含硬件DPI（DPI：深度报文检测）模块的输入卡、输出卡组成。输入卡接收网络数据流，其中的硬件DPI模块进行深度报文检测处理(例如规则匹配)，处理后的报文从输出卡的端口输出至后端分析系统，输出卡根据后端分析系统的负载能力进行负载均衡。后端分析系统对前端设备输出的报文进行进一步分析，实现网络行为审计、网络内容审计和入侵检测。随着骨干网链路速度的不断提升，高速网络内容监控系统面临的主要问题是：巨大流量经常超出后端分析系统的处理能力，因此前端设备需要对输出流量进行控制，通过丢弃部分报文使流量符合后端系统的处理能力。由于后端分析系统通常基于流（TCP或UDP流，包括通信双方一个会话中的所有报文）进行数据分析，所以要求流量控制时尽可能保持“流完整性”，即丢弃的报文集中在少量流中，而使尽可能多的流不丢弃报文，保持流完整性。因此，这就需要一种新的能够保持流完整性的流量控制方法。

现有的流量控制方法主要有： 

1．出口负载均衡方法。其基本的思想是将流量尽可能平均的分配给多个出口，以减少报文的丢弃。但是考虑到各个出口所连接的后端系统的处理能力可能不同，实际流量大小也不同，在实现中很难做到平衡、灵活的分流。更为重要的是，出口负载均衡不能保证流完整性。

2．拥塞控制方法。大多数网络设备都有拥塞控制机制，当报文的等待队列已满时，拥塞控制机制将丢弃多余的报文，但是通常这种丢弃是随机的，不保持流的完整性。

3．QoS（Quality of Service，服务质量）方法。根据应用协议确定报文的优先级，当网络发生拥塞时，优先级高的报文不会被丢弃，而对于低优先级的应用不能保持流的完整性。同时，由于优先级只根据应用协议确定，流量控制的灵活性差。总结以上几种方法，其共有的最大缺陷是不保证流的完整性，难以满足高速网络内容监控系统的需要。现有的网络设备大多采用以上方法的一种或几种，综合起来进行流量控制，但是对于流的完整性仍无法保证。

发明内容

本发明要解决的技术问题是在保证流的完整性的前提下进行流量控制。

为解决上述具体技术问题，技术方案包括以下步骤：

第一步，构建高速网络内容监控系统，高速网络内容监控系统由输入卡、输出卡、控制主机、后端分析系统组成。输入卡中增加优先级模块，优先级模块与硬件DPI模块和输入卡的输出端口相连，它从硬件DPI接收经深度报文检测处理的报文，确定报文的优先级，然后将确定了优先级的报文传送给输出卡；输出卡与输入卡、控制主机、后端分析系统相连，一个输出卡有一个输入端口和若干输出端口，在输出卡各输出端口增加流量控制模块，各输出端口的流量控制模块与输出卡的输入端口、控制主机和后端分析系统相连，流量控制模块决定对报文发送或丢弃；控制主机与输出卡相连，其上运行流量控制软件，流量控制软件统计流量，并根据流控策略设置丢弃标志位，从而控制流量控制模块进行流量控制。 

优先级模块由控制逻辑和优先级表组成。控制逻辑分为报文取头逻辑和加报文头逻辑，报文取头逻辑接收硬件DPI模块输出的头部带有规则ID号的报文，将其头部的规则ID号取出，并查找优先级表，获得规则ID与优先级号的对应关系，找出该规则ID对应的优先级号，再由加报文头逻辑将优先级号加在报文头部。优先级表的每个表项包括规则ID值和优先级号两个域，规则ID值是此报文匹配的规则号，优先级号是此规则ID值对应的优先级，一个规则ID值对应一个优先级号，优先级号越小表示优先级越高。这两个域的项数均为P个，P为正整数。