[发明专利]互联网的网络应用采集与分析方法及系统

说明书

技术领域

本发明涉及网络通信技术，尤其涉及互联网的网络应用采集与分析方法及系统。

背景技术

互联网的数据都是为网络应用服务的，每一个数据包都归属于某种具体的网络应用协议。但是在网络上传输的数据并不会明确标记自己是什么类型的数据，需要通过数据承载的网络应用某些特征用算法予以判断识别。

网络应用的特征非常多，可以从不同角度来描述，这些不同角度的描述构成一个网络应用的特征信息。从网络应用的角度来看，有如下的关系

网络应用由一个或者多个网络会话组成，一个网络会话由一组网络数据包(TCP/UDP)组成，网络数据包(TCP/UDP)由一组二进制网络数据组成。

其层次结构为：

TCP/UDP数据包->网络会话->网络应用。

一个网络应用的特征信息包含在数据包或者网络会话及其组合里面，特征信息可能非常简单，也可能非常复杂。复杂的特征信息可能包含如下内容：

网络会话的数量；

各个网络会话之间的先后关系和交互关系；

每个网络会话的数据包数量；

每个数据包的大小、取值和先后关系。

许多复杂的应用协议，必需对上述四个方面构成的信息进行完成判断才能予以准确识别。利用上述四方面信息描述的应用特征称之为应用协议的行为模式。

行为模式匹配就是将某个实际数据流和已有的各种应用协议的特征信息进行匹配，如果匹配即认为属于某种应用。目前常用的行为模式匹配算法是正向匹配。正向匹配是指一个模式比较中吻合点的数量达到某个比例即认为相同，而逆向匹配是计算不吻合点的数量，只有不吻合点数量低于一定值才认为是相同。

正向匹配容易导致误判，误判的原因是因为应用协议非常多，而且许多应用协议都是借用已有的应用协议并改进生成的新协议(我们称前者为衍生协议，后者为原始协议)。因此原始协议特征模式去匹配衍生协议很容易匹配上，导致误判。

发明内容

本发明提出一种互联网的网络应用采集与分析方法，包括：根据通信模式或会话结构，将互联网的网络应用采用的会话结构进行分类；根据所述分类的结果，采用下述识别方法中的一种或者多种将所述网络应用与预定的应用协议进行不吻合点匹配，所述的识别方法包括：基于端口识别、基于特征码识别、基于协议解析算法识别、基于网络关联算法识别；当一个网络应用与预定的应用协议的不吻合点的数量小于预定的门限值时，将该网络应用识别为采用所述预定的应用协议的网络应用。

所述将互联网的网络应用采用的会话结构进行分类包括将网络应用采用的会话结构分为下属类别：“Type S-F-2”类型，具有单个会话、固定端口、使用2个主机；“Type M-F-2”类型，具有多个会话、固定端口、使用2个主机；“Type M-D-2”类型，具有多个会话、动态端口、使用2个主机；“Type M-F-3”类型，具有多个会话、固定端口、使用3个以上的主机；“Type M-D-3”类型，具有多个会话、动态端口、使用3个以上的主机。

所述基于端口识别依据网络应用使用的端口与预定的应用协议进行不吻合点匹配，所述基于端口识别适用于使用固定端口的网络应用；所述基于端口识别识别的端口包括：由IANA组织分配的公认端口、在IANA组织注册的登记端口、未在IANA组织注册但通过流量分析得到的常用端口。

所述基于特征码识别检查一个网络应用前几个数据包的负载部分，确定是否存在预定义的应用特征码，并以次为依据与预定的应用协议进行不吻合点匹配；所述特征码包括固定长度字符串、或者可变长度字符串，所述固定长度字符串或可变长度字符串用正规表达式表示。

所述基于协议解析算法识别适用于使用动态端口的网络应用，进一步包括：1)建立描述控制会话端口的表CPT；2)如果网络应用的主端口在CPT中存在，并且没有设置FIN标志，则执行步骤3)-6)；否则执行步骤7)；3)由分派函数指派相应的协议解析函数，对负载进行协议分析；4)如果协议分析结果正确，则为该网络应用建立一个会话流，并且解析出后续动态会话端口；否则，该网络应用视为其他应用；5)如果所述网络应用有二级控制会话，则依据步骤3)和4)继续对负载进行协议分析，直至解析出数据会话端口；6)所有属于二级控制会话和数据会话的网络包，都属于该网络应用的所述会话流；7)如果收到Disconnect网络包，或者在一定的超时时间内会话流的数据包不再到达，则该会话流结束。