[发明专利]一种基于统计特征的有噪网络流量分类建模方法

说明书

本发明公开了一种基于统计特征的有噪网络流量分类建模方法，它包括：网络数据采集处理，从网络流量监测站实时提取网络流量数据，并对网络流量数据进行预处理；建立网络流量噪声判断模型并清除网络流量数据中的噪声；建立网络流量噪声容忍模型；建立鲁棒的分类模型步骤5、采用随机森林的分类方法，把在线网络流量数据作为测试集，利用鲁棒的分类模型进行分类；解决了现有技术对大数据网络流量分类存在的大量样本内容与所标记的类别不符，这些噪声样本会使训练样本中类别概念模糊，其提供的分类经验知识不足，导致分类器构建的分类决策不明确，从而对测试样本所属类别进行误判，影响最终的分类性能等技术问题。

技术领域

本发明属于网络流量分类技术，尤其涉及一种基于统计特征的有噪网络流量分类建模方法。

背景技术

网络的资源管理和安全控制对国民经济和国家安全的影响巨大，日益受到国家政府的重视。我国也将信息管理和网络安全为优先研究领域发展。网络流量分类是解决网络资源管理和安全控制中一系列重要问题的基础技术。为了实施正确的管理和控制策略，网络管理者通常需要采用流量分类来清楚的了解当前的网络状态。为了实现服务质量(QoS)控制，不同的应用将被赋予不同的优先级以合理分配有限的网络带宽。在网络安全方面，根据流量分类的结果，入侵检测系统对不同流量类别采取细粒度的检测方案，可以更有效的识别可疑网络流。

网络流量分类技术随着网络的演变也不断发展。最初的技术是根据互联网地址指派机构IANA规定的端口映射表，将特定端口的网络流量划分到相应的网络应用。然而，越来越多的网络应用使用动态随机端口，导致该技术不再可靠。现有商用系统主要使用基于负载的流量分类技术，通过分析数据分组的应用层负载，检测不同应用的特征字段来划分网络流量。这类技术的问题是，分析完整的应用层负载计算开销大，可能带来的用户隐私权纠纷，而且无法识别使用负载加密技术或者特征字段保密的网络应用。在当前的大数据时代，网络流量数据量庞大且结构复杂，不可避免的会存在一些噪声数据。特别是在对网络流量数据进行标注或获取的过程中，难免会引入大量噪声，导致大量样本内容与所标记的类别不符等。这些噪声样本会使训练样本中类别概念模糊，其提供的分类经验知识不足，导致分类器构建的分类决策不明确，从而对测试样本所属类别进行误判，影响最终的分类性能。由此说明，提高有噪网络流量分类的精度势在必行。

发明内容：

本发明要解决的技术问题：提供一种基于统计特征的有噪网络流量分类建模方法，以解决现有技术对大数据网络流量分类存在的大量样本内容与所标记的类别不符,也就是网络流量中存在大量类别噪声的问题，这些噪声样本会使训练样本中类别概念模糊，其提供的分类经验知识不足，导致分类器构建的分类决策不明确，从而对测试样本所属类别进行误判，影响最终的分类性能等技术问题。

本发明技术方案：

一种基于统计特征的有噪网络流量分类建模方法，它包括：

步骤1、网络数据采集处理，从网络流量监测站实时提取网络流量数据，并对网络流量数据进行预处理；

步骤2、建立网络流量噪声判断模型并清除网络流量数据中的噪声，所述网络流量噪声判断模型为：式中：R_j代表第j条网络流量的噪声网络流量判断结果，P_ij代表第j条网络流量被第i个分类器判断为噪声的结果；步骤3、建立网络流量噪声容忍模型，所述网络流量噪声容忍模型包括：疑似噪声数据的噪声等级表达式：

和疑似噪声数据的权重表达式：

式中：L_j代表第j条网络流量的噪声等级，W(t)代表权重分数，NL_t代表第t种噪声等级的值；

步骤4、根据步骤2和步骤3所述的网络流量噪声判断模型和网络流量噪声容忍模型，建立鲁棒的分类模型式中：S_t代表网络流量数据中噪声等级为t的数据，R^*代表鲁棒的训练集的集合；