[发明专利]一种具有最优个体收敛速率网络流量分类方法

说明书

本发明涉及一种具有最优个体收敛速率网络流量分类方法，它是一种新型的的随机一阶梯度算法，可以解决大规模网络数据分类问题。包括：输入网络流量，进行必要的预处理工作，划分训练样本与测试样本；每一轮迭代都只随机抽取一个训练样本，采用一种具有最优个体收敛速率的分类算法进行训练模型，计算每一轮迭代的具有稀疏性的权值w，根据w可以进一步计算目标函数值和个体收敛速率；最后用测试样本进行模型的测试，得到网络流量分类的精度。本发明提出一种网络流量分类方法，具有个体最优收敛速率，并且可以有效解决大规模网络流量分类、识别问题。无需进行特定协议解析，并且可以实时反映数据中对分类起作用的特征，因此所采用的方法具有一定通用性。

技术领域

本发明涉及数据分类识别领域，具体涉及一种具有最优个体收敛速率网络流量分类方法。

背景技术

众所周知，在越来越重视个人隐私保护与网络安全的今天，大规模网络流量给网络安全带来许多新的挑战。当前，国家成立了关于网络安全与信息化的工作小组，重点解决网络中的安全与发展性问题。目前网络安全形势复杂而又严峻，对网络流量进行有效的识别和管理对保护用户信息，监管非法数据，检测网络攻击，维护网络安全有着重要意义。目前网络流量分类研究中传统的分类方法正逐渐被机器学习方法所替代，特别是针对特定协议的流量数据，例如WWW协议、HTTP协议等等。

目前的网络流量数据一般样本多、维数高以及稀疏冗余等特征，传统的批处理模式已经很难适用，批处理算法通常每一轮迭代都需要扫描所有的样本，并且需要知道样本所有维数信息。随机一阶优化算法具有较快运行的速度，又能减少了内存开销。

另外，传统机器学习分类方法处理问题时的最优收敛速率是已知的，目前几乎所有的方法只是对所有迭代进行加权平均的输出方式得到最优收敛速率。个体解输出结果(也称：迭代瞬时输出结果)往往不具有稳定性和稀疏性，并且理论上不一定能证明具有最优收敛速率。

发明内容

1、本发明目的

本发明提出了一种具有最优个体收敛速率网络流量分类技术，以实现在未进行协议解析的情形下，利用较少的计算资源解决大规模网络流量检测问题，同时可以快速提取流量对于分类结果的稀疏特征。

2、本发明所采用的技术方案为：

本发明提出的具有最优个体收敛速率网络流量分类方法，包括以下步骤：

(1)输入网络流量数据，进行必要的预处理工作，划分训练样本与测试样本；

(2)随机抽取训练样本，采用的是一种具有最优个体收敛速率的随机一阶梯度算法进行训练模型；

(3)训练的输出结果是权值w，w向量的非零元素所对应的特征即对于网路流量分类有用的特征，然后计算目标函数值和个体收敛速率，

(4)用测试样本对训练好的模型进行测试，计算分类精度。

为实现对上述流量特征值进行分类，本发明具有最优收敛速率的网络流量分类方法包括以下步骤：

假设训练样本集S是一些独立同分布样本组成，目标函数可以表示为：

其中l_i(w)是对应样本(x_i,yi)的损失函数，Q有界闭凸集合。w*是问题(1)的一个最优解。

个体收敛速率表示为：

l(w_t)-l(w*)，(2)

更进一步具体实施方式中，所述的损失函数采用非光滑hinge损失函数，即l_i(w)＝max{0,1-y_iw,x_i}。

更进一步具体实施方式中，随机一阶梯度优化算法的具体步骤为：