[发明专利]基于负载映射与随机森林的非加密流量识别方法

说明书

本发明针对于非加密流量提出了一种移动应用流量识别方法。方法结合向量空间映射与随机森林分类器，包括预处理阶段，用于将流量负载进行预处理；随机森林分类器建模阶段，将流量负载映射到向量空间，利用流量训练集合建立随机森林模型；分类阶段，待识别流量通过随机森林模型分类。常见的非加密流量识别方法，局限于寻找固定长度或可变长度的特征字符串，为此花费了巨大的精力。本发明引入自然语言处理领域的方法。将非加密负载转化为向量，克服了寻找特征字符时间复杂度大的特点。本发明可以用于非加密流量的应用类型识别，具有较高的识别准确度。

技术领域

本发明涉及流量分类与识别技术领域，尤其涉及一种非加密移动应用流量识别方法。

背景技术

网络流量识别在网络管理中处于十分重要的位置，是网络监管、带宽计费、QoS等多方面的基础。近几年，移动设备的数量呈现爆炸式增长，越来越深入到人们的生活中。在这些设备上，人们下载安装应用程序，这些应用程序产生的流量称之为移动应用流量。这些流量增长得十分迅速，并且包含了网络环境中的重要信息，因此对这些流量进行分析变得十分有意义，而流量识别作为流量分析的基础，吸引了学术界的许多目光。

移动应用程序大多使用HTTP/HTTPS等协议，目前流量识别的方式主要有3种：基于端口的识别方法、基于机器学习的识别方法、基于数据包负载的识别方法(DPI)。

基于端口的识别方法是将一些熟知端口作为识别规则，如80端口对应HTTP协议，53号端口对应DNS协议。但由于大多数移动应用都采用HTTP/HTTPS协议，流量端口基本固定为80或443，基于端口识别的方案不能很好地识别移动应用流量。

基于机器学习的识别方法通常是先按照五元组的方式提取出数据流，所谓数据流就是指在一定时间间隔内报文的集合，这些报文有着相同的源IP、目的IP、源端口、目的端口和协议。而后可以通过提取流特征，如数据包到达间隔、数据包大小等，完成数据包到特征空间的映射，进而可以建立如贝叶斯、SVM、决策树等分类器以进行分类。或是采用K-Means、DBSCAN等无监督方法进行聚类，预测类别。但同样是由于移动应用大都采用HTTP/HTTPS协议，流特征会较为相近，常用的流特征将近250个，如何选择有效的特征成为一个复杂的问题。

基于DPI的识别方法依赖于报文负载内容，将位置固定或不固定的关键字符串作为应用签名。通过字符串匹配进行流量识别。如何找到具有代表性的匹配模式，在很大程度上决定了这种分类方法的识别准确度。不同学者提出了不同的方法来对寻找特征模式，但过程相对较为复杂。

本发明基于DPI的识别方法，仅针对使用HTTP协议的应用流量进行识别。依赖于HTTP负载报文，但不采用提取特征字符串的方式，而是使用自然语言处理领域中的方法，将负载映射为向量，建立随机森林分类器进行应用类别预测。

发明内容

本发明提供一种非加密移动应用流量识别方法，不必提取特征字符串，而是将负载映射为向量，具有较为准确的识别率。

本发明提供一种基于随机森林的非加密移动应用流量识别方法。HTTP流量负载为明文，可以将其视为文本进行处理，引入自然语言处理中的向量空间模型，实现负载到向量的映射。

图1展示了本方法的框架图，在预处理阶段，截取HTTP报文负载中“\r\n\r\n”之前的内容，该内容包含了HTTP的请求行与请求报文，拥有足够的信息量可以用于分类器的建立。

对每条负载进行分词处理，可以简单地使用空格、斜杠等分隔符进行分割，将长度过短的单词删除。将单词存入单词集合W＝{w₁，w₂，...，w_n}，W也可称之为词袋(bagofwords)。