[发明专利]一种获得具有准确应用类型标识的网络流量数据集的方法

说明书

技术领域

本发明涉及一种获得具有应用类型标识的网络流量数据集的方法。

背景技术

网络中混合流量的识别，对网络操作者和管理者而言，有至关重要的意义。为此，研究团体就混合流量提出了很多分类算法，如基于端口的分类算法和基于包检测的分类算法。由于越来越多的网络应用使用动态端口号和加密技术来发送数据包，因此随着网络应用中动态端口号和加密技术的逐步流行，使得基于端口号的和基于包检测的分类算法已经失去了有效性。基于机器学习的流量分类方法能够克服这种问题，便成为了研究的重点。但是，基于机器学习的流量分类算法需要具有准确应用类型标识的网络流量数据集来训练分类器和测试分类器。

具有准确应用类型标识的网络流量数据集的获得方法是目前流量分类领域中较为关注的热点，该领域的研究者提出了许多具有借鉴意义的方案。其中，Francesco Gringoli等人提出了一种用来为网络流量标记产生该网络流量的应用类型和协议标签的开放源代码的软件集合，命名为GT。

GT首先在用户主机上安装客户端守护进程，用来跟踪活动的网络socket的变化，记录这些变化然后发送到GT SQL Server数据库。再在网络边界处安装Traffic dump来采集网络流量并发送到用于处理流量的工具（即IPClass Tool）中。IPClass Tool接收Traffic dump在网络边界处采集的数据包，并且把其中的第一个数据包的采集时间和GT SQL Server中存储的数据包的记录时间进行比较，若有匹配结果，再对有应用类型标签的流量使用深度包检测技术以获得产生该流量的协议，然后把采集的相关数据和产生该数据的应用类型信息，以及协议信息一起存储到GT metadata中；若没有匹配结果，就不处理该数据包。

Francesco Gringoli等人的研究尽管得到具有应用类型标签和协议标签的数据，但是标记流量的应用类型需要根据数据包的时间戳来匹配GT SQL Server中存储信息的记录时间，有可能会因为时间的不同步性或者是延时而匹配错误。而且，产生该数据包的协议是使用深度包检测技术（Deep Packet Detection）来获得的，技术本身就会受到所使用的协议特征集的限制。该方案为数据标记应用类型和协议标签的处理过程是在离线的环境下完成的，使得该方案不能满足在线分类方法的应用。为此，有必要提出在线为流出用户主机的数据标记产生该数据的准确的应用类型标签和离线制作具有准确应用类型标识的网络流量数据集的研制方案。

为了使本领域的技术人员更有利于理解本文中相关的技术手段，在此对其中的某些手段和应用的对象进行一个说明，仅用于相关人员对本文所提出技术方案的延续性理解，不构成以下某些技术手段视为对现有技术的承认。

为调用socket请求流出主机的TCP数据包标记产生该数据包的应用类型标识，需要在主机上安装Socket Hook驱动和NDIS Hook驱动。在网络的边界处使用基于FPGA的流量采集器来采集经过网路边界的数据包，并且把采集的数据包发送到数据处理器。数据处理器首先把得到的数据包根据数据包的五元组（源IP地址、目的IP地址、源端口号、目的端口号和协议）信息整合成流，然后根据不同的需求制作不同的数据集。

在获得具有准确应用类型标签的网络流量数据集的过程中使用到的技术如下所述：

Socket Hook和NDIS Hook：

Hook的一种解释是Windows中提供的一种用以替换DOS下“中断”的系统机制，中文译为“挂钩”或“钩子”。在对特定的系统事件进行Hook后，一旦发生Hook事件，对该事件进行Hook的程序就会受到系统的通知，这时程序就能在第一时间对该事件做出响应。

Hook的另一种解释则是Windows消息处理机制的一个平台，应用程序可以在上面设置子程以监视指定窗口的某种消息，而且所监视的窗口可以是其他进程所创建的。当消息到达后，在目标窗口处理函数之前处理它。也就是说，钩子机制允许应用程序截获处理Windows消息或特定事件。