[发明专利]一种基于分布式模糊支持向量机的自适应模型的网络流量分类方法

说明书

本发明公开了一种基于分布式模糊支持向量机的自适应模型的网络流量分类方法，通过一种改进的K‑means算法获取各聚类中心，再结合模糊隶属函数对各个训练样本设定隶属度，使得“噪音”样本、离群样本和特征值缺失的样本有较低的隶属度，从而降低这些样本数据对分类的影响。同时，根据SVM分类重要性质：最终模型仅与支持向量有关，引入分布式集群思想，将训练数据集分散在集群中并行计算，并应用遗传算法自适应的获取最优参数和各个支持向量，从而实现了网络流量分类的鲁棒性和时效性。

技术领域

本发明涉及大规模数据背景下，基于分布式模糊支持向量机的自适应模型的网络流量分类方法。

背景技术

网络流量分类的实现是运行和优化各种网络资源的重要基础，在网络资源管理、入侵检测等方面发挥重要作用。在网络流量识别研究中分类技术主要经历了三个阶段：基于固定端口号的流量分类阶段、基于深度包流量检测 (Deep Packet Inspection,DPI)分类阶段和基于机器学习的流量分类阶段。随着动态端口技术和伪装端口技术的出现，给基于固定端口的流量分类系统带来了严峻挑战。为解决基于端口的流量分类技术存在的不足，Yang等人使用 DPI流量分类技术，即以透视的形式深度检查数据包是否携带目标流量类型的特征码，从而实现对网络流量的分类识别。然而基于DPI的流量分类是以分组数据信息可见性及荷载目标特征已知为前提的，因此不适用于加密流量和未知特征码的网络流量。基于固定端口、DPI的流量分类技术本质上可以理解专家系统，即通过人为的制定规则来实现对网络流量的匹配和识别,不具备智能识别、分类能力。近年来，随着人工智能的兴起，机器学习作为人工智能的主要实现方式，越来越多的机器学习技术被应用到网络流量分类当中。

基于机器学习的网络流量分类技术是对各网络流量统计信息进行计算，利用相关算法对数据包进行识别，进而对相应的网络流量进行分类。机器学习方法主要分为有监督学习和无监督学习。无监督学习是指根据样本间的相似特性对训练集中的样本进行聚类来设计分类器，例如K均值聚类，最大期望算法等。然而在无监督网络流量分类中，利用聚类结果构造未知类别的流量是困难的。有监督学习是指在已知网络流量类别的基础上来构造分类器，其主要算法有SVM,贝叶斯网络(Bayesian Networks),K-近邻(K-Nearest Neighbor,KNN)等。以上典型的监督学习算法中，Bayesian、KNN等容易陷入局部最优解，而SVM基于结构风险最小化原则可以将原问题转化为凸二次规划问题，进而求得全局最优解，并且核函数的引入，SVM将现有维度线性不可分问题转化为高维度线性可分问题，从而实现对非线性数据的分类。 Wang等人将Lasso特征选择算法应用到网络流异常检测中，以降低特征维度的方式加快模型的训练和网络流量的分类。萧平等人提出一种基于遗忘因子 T的SVM增量学习算法。

在二分类问题中，假设训练样本集为(x_i,y_i)，i＝1,2,..,N, y_i∈{-1,1}，分类目标是根据训练样本构造最优分离超平面，使得训练集可以被该超平面分离且离超平面最近的向量，即支持向量，到超平面的距离最大。分类决策函数形式如(1)所示,得到线性可分支持向量机。

f(x)＝sign(w^*·x+b) (1)

为最大化几何间隔且引入松弛变量ξ＞0，化简后可得到形如(2)所示的软间隔支持向量机，在约束条件下求解最小w，进而得到相应最优决策函数。

其中，C为惩罚参数，C越大表示对误分类的惩罚越大。

通过拉格朗日乘子法和Wolfe对偶定义，原始问题的对偶问题是极大极小问题，即把在约束条件下求解最小w的原问题转化为求解最大α_i的对偶问题，对偶问题如式(3)所示。

其中，α_i是Lagrange乘子。