[发明专利]基于主动学习的网络流量分类方法及装置

说明书

本发明公开了一种基于主动学习的网络流量分类方法及装置，包括：离线训练过程：在历史积累的网络流量数据集上对初始化训练得到的网络流量分类模型进行多轮次的主动学习和性能评估，直至达到预设评估要求，输出达到预设评估要求的网络流量分类模型，并结束离线训练过程；在线预测过程：利用离线训练过程获得的网络流量分类模型对实时网络流量数据进行在线预测，同时对网络流量分类模型自身进行在线主动学习。本发明基于主动学习的网络流量分类方法，在降低人力物力开销的同时，能够保证网络流量分类模型很好的分类性能，且基于主动学习训练获得的网络流量分类模型特别适用于不平衡网络流量数据的分类预测。

技术领域

本发明属于网络流量管理领域，具体是涉及到一种基于主动学习的网络流量分类方法及装置。

背景技术

随着互联网行业的快速发展和应用创新的突飞猛进，网络流量的类型多样性、演变性和复杂性都随着新型网络应用及网络协议的不断涌现而日益增长，同时网络运营服务商和网络监管部门对了解网络流量构成、实施网络差异化服务，以及净化网络环境等诉求也愈来愈多。因此，如何对源源不断的未知网络流量进行准确分类，支持快速再分配网络资源，从而提高网络资源的利用率和客户个性化服务的满意度是当前网络流量管理领域面临的一大挑战，迫切需要提出新的高效网络流量分类方法，以满足网络运营服务商和网络监管部门对网络服务与管理的新需求。

现有基于传统机器学习的网络流量分类方法，分类性能很大程度上依赖于基于包特征或者基于流特征的设计。这些传统方法一方面需要大量带有真实标签的训练样本来训练分类器，但获取大量真实标签需要耗费大量人力及物力，且一旦发生类型演变，往往会导致原先训练得到的分类器性能急剧降低。另一方面，随着新型网络应用层出不穷，流量类型不断出新，各种类型的流量占比总在动态演化，而传统方法往往偏向于不平衡流量中的大类数据，易于忽略新型网络应用在初期阶段所产生的小类流量数据，更难以识别伪装善变的恶意流量数据，这种恶意流量数据虽然占比小但危害大，是网络监管的重点目标。

发明内容

本发明的目的是克服现有技术存在的上述问题，提供一种基于主动学习的网络流量分类方法及装置。

基于上述目的，第一方面，本发明提供一种基于主动学习的网络流量分类方法，包括基于主动学习的网络流量分类模型离线训练过程和基于主动学习的网络流量分类模型在线预测过程，

所述基于主动学习的网络流量分类模型离线训练过程，包括：

获取初始化训练样本集，通过预设的有监督学习算法对初始化训练样本集进行有监督学习，得到初始网络流量分类模型；

根据获取的历史网络流量数据集，对所述初始网络流量分类模型进行预设总标签请求比例下的主动学习；

获取主动学习过程中随机标签请求策略得到的性能评估样本集，并根据所述性能评估样本集进行模型分类预测性能评估，以得到离线评估结果；

检测离线评估结果是否达到预设评估要求；

在所述离线评估结果达到预设评估要求时，获得达到所述预设评估要求的网络流量分类模型，并结束所述基于主动学习的网络流量分类模型离线训练过程；

所述基于主动学习的网络流量分类模型在线预测过程，包括：

获取离线训练得到的所述网络流量分类模型，并获取实时网络流量数据；

通过所述网络流量分类模型对所述实时网络流量数据进行在线分类预测，获得分类预测结果；同时对所述网络流量分类模型进行所述预设总标签请求比例下的主动学习；

获取主动学习过程中所述随机标签请求策略得到的所述性能评估样本集，并在预设时间周期内进行模型分类预测性能评估，以得到周期性评估结果；

根据所述周期性评估结果和所述预设评估要求判断是否按照所述预设时间周期输出所述网络流量分类模型。