[发明专利]分布式集群处理系统及其报文处理方法

说明书

技术领域

本发明涉及网络技术，具体地，涉及分布式集群处理系统及其报文处理方法。

背景技术

在传统的网络拓扑中，末梢网络最为复杂，计算资源集中在企业的内部。近来，随着云计算、大型数据中心等的出现，使得企业的IT应用逐步汇聚，形成超大型的计算节点。现有的基于单机节点的网络安全产品已经无法在云计算中心、大型数据中心、运营商骨干网上部署。在这些情况下，对于性能、功能、可靠性的要求都远远地超过了传统的安全产品的水平。

运营商当前正在转型，从单一管道向智能管道转型，在这个转型过程中，要求运营商能够智能地感知管道内容，并且智能地感知业务，提供安全、QoS(Quality of Service；服务质量)、增值业务的服务，并在数据分析的基础上，为客户提供差异化的服务。

在这种背景下，在安全与增值业务领域中产生了对分布式处理、集群处理等技术的需求。借助于分布式和集群处理，能够在单一节点处理性能无法显著提升的情况下，利用多节点堆叠，来满足云计算、数据中心和运营商对安全和增值业务的需求。

图1所示为现有的采用串行处理技术的安全和增值处理系统的示意图。如图1所示，为了同时满足性能和功能的需要，目前在运营商网络、大型数据中心等节点中，普遍都采购功能单一、性能超强的安全产品，串行部署在网络出口处。

由于运营商网络或大型数据中心的出口带宽在不远的将来将会达到数百Gbps的水平，目前的解决办法就是，安全与增值业务产品都选择高性能的、功能单一的产品，并组成图1所示的结构，其中，防火墙、VPN(Virtual Private Network，虚拟专用网络)、DPI(Deep packet inspection，即深度报文检测)设备、URL过滤(URL Filtering)设备、防毒墙、负载均衡设备等产品以串联方式连接。

这种方案存在的问题在于：

1、计算能力浪费：在安全与增值业务领域，很多处理工作属于重复劳动。例如：几乎每个安全与增值业务产品，都有异常报文检测机制，都会对每个报文进行分析。在串联的情况下，实际上只需要处理一次即可。但是实际上每个厂商的每个产品都会执行异常报文检测，使得在系统中重复地执行异常报文检测，造成计算资源的大量浪费，降低了处理性能。

2、网络时延增加：每个报文都要经历所有设备的处理，而每增加一个设备就增加一个节点，相应地，使端到端处理的时延增加，造成网络性能下降。

3、单点故障增加：由于各个设备是串联连接的，因此每个设备都成为单点故障点。在对可靠性要求极高的运营商、数据中心网络的情况下，这种组网模式会带来巨大的隐患。同时，如果采取热备份、主备份等方案，势必带来系统复杂度的急剧上升和投资成本的大幅度上升。

4、在串联组网模式下，整个系统的处理性能由处理能力最低的节点决定。在串联模式下，诸如杀毒、内容安全等设备的处理能力通常只能达到传统网络防火墙的1/10左右。

因此，在高性能计算领域，尤其是在云计算时代对系统的容量和可靠性要求极其苛刻的情况下，串联模式并不适合。

本技术领域中的另一个思路是，在无法提升单个设备的处理性能的情况下，可以采用并行负荷分担的方法，将每个节点功能做得很全，利用负载分担设备，来实现端到端的高性能。

图2所示为现有技术中采用负载分担技术的安全和增值处理系统的示意图。在图2中，每个节点都是一台融合了多种安全功能的设备(在本领域中通常称为统一威胁管理(UTM，Unified Threat Management))。在这种系统中，利用一台负载均衡器，将流量负载分担到每个设备上。

这种方案存在的问题在于：

1、软件复杂度太高：由于负载均衡器不能感知业务类型，因此其报文分发只能以流量为依据，必然要求每个负荷分担的节点的软件功能都是完整的。这样会带来一个严重的问题，即：当一台设备需要完成非常多的复杂的安全和增值业务功能的时候，其性能、可靠性、稳定性都会急剧下降。众所周知，大型软件的特点是，越复杂就越难做到性能优化和可靠性优化，因此，把所有功能都集中在一个设备上，其架构本身就存在缺陷。因此，这种方案只能满足低端市场的需求，高端产品很难满足要求。

2、升级复杂：每个子功能的升级都会带来整个系统的升级，不利于平滑过渡扩容。