[发明专利]基于多尺度主成分分析的网络异常检测方法

说明书

(一)、技术领域：本发明涉及一种网络异常检测方法，特别是涉及一种基于多尺度主成分分析的网络异常检测方法。

(二)、背景技术：在当今的因特网环境下，各种异常行为(如拒绝服务攻击、蠕虫、突发流等)频繁发生。有效地检测异常行为对于保证网络的可靠运行具有重要意义。由于网络异常行为通常具有不同的模式，且隐藏在复杂的背景流量中，因此网络异常检测是一件极具挑战性的任务。

由于网络异常行为大都伴随着网络流量的显著变化，所以大部分研究都是通过被动监测和分析单条链路流量的变化来检测异常。例如，Barford等人利用小波变换方法分析IP流和SNMP数据，从而揭示四种不同的流量异常特征。这类方法利用链路流量的时间相关性(temporal correlation)，采用多尺度(multiscale)分析方法，取得了较好的检测效果。然而，这类方法仅仅考虑单条链路的流量，其异常检测能力是有限的，原因在于许多异常行为影响网络中多条链路和路径，其在单条链路和路径上呈现的异常现象有时并不明显。针对这一问题，Lakhina等人首次采用流量矩阵作为数据源，提出了一种基于主成分分析(PCA)的全网络(network-wide)异常检测方法。这类方法利用多条链路流量之间的空间相关性(spatial correlation)，将流量矩阵高维数据映射到正常子空间和异常子空间，然后在异常子空间中检测凸显的异常行为模式。然而，基于PCA的网络异常检测方法属于单尺度(single-scale)分析方法，它仅仅考虑了流量矩阵数据的空间相关性，并没有考虑流量矩阵数据的时间相关性。

自1987年Denning提出异常检测统计模型以来，网络异常检测方法的研究就一直受到学术界的广泛关注。根据异常检测范围的不同，我们可以将这些方法分为三类：基于主机的异常检测方法、基于单链路流量的网络异常检测方法和基于流量矩阵的全网络异常检测方法。

基于主机的异常检测方法的基本思想是采用主机系统的系统日志或审计记录作为异常检测数据源，应用机器学习等方法建立用户的正常行为模式，然后以某种测度来度量用户偏离正常行为模式的程度，从而检测网络入侵行为。

基于单链路流量的网络异常检测方法是通过被动监测和分析单条链路流量的变化来检测异常。这类方法的基本思想是利用链路流量的时间相关性，采用小波变换等多分辨率分析方法对流量数据进行多尺度分析，将确定性信号和随机性信号分离，从而揭示各种异常行为。

基于流量矩阵的全网络异常检测是近年来兴起的一种网络异常检测新方法，它主要针对单链路流量异常检测方法的局限性，利用流量矩阵的空间相关性和时间相关性，应用各种多元统计分析方法或信号处理方法，从全网络的视角检测异常行为。Lakhina等人采用流量矩阵作为数据源，首次揭示了流量矩阵具有低维度特性，分析了特征流的特性，并以此为基础提出了一种基于PCA的全网络异常检测方法，试验表明该方法的检测性能明显优于传统的单链路流量时间序列方法；Ringberg等人进一步指出PCA异常检测器面临的四个挑战，其中包括正常子空间中主成分数对检测性能的影响、流量聚合级别对算法有效性的影响、异常流量对正常子空间的毒害等；Rubinstein等人则利用了PCA异常检测器的缺陷，提出了4种数据毒害机制，并提出一种基于健壮PCA的异常检测方法，有效地抵御毒害攻击。这类方法的基本思想都是利用多条链路流量之间的空间相关性，采用PCA方法获得流量矩阵高维数据的主成分，分别建立正常子空间和异常子空间，然后在异常子空间中检测凸显的异常行为模式。这类方法的不足之处在于仅仅利用了流量矩阵的空间相关性，而没有利用流量矩阵的时间相关性。为此，Brauckhoff等人同时考虑流量矩阵的空间相关性和时间相关性，将PCA推广到Karhunen-Loveve变换展开式(KLE)，提出了一种基于Galerkin的KLE计算方法，然后使用KLE建立一种预测模型并用于异常检测，试验证实KLE方法取得了优于PCA的检测性能。但是，KLE方法仅仅利用了固定时间间隔的测量数据之间的时间相关性，不具有小波变换具有多分辨率分析能力；此外，KLE方法同样属于离线算法，无法实时地检测异常。

(三)、发明内容：

本发明要解决的技术问题是：克服现有技术的缺陷，提供一种基于多尺度主成分分析的网络异常检测方法及网络异常在线检测方法，该方法利用流量矩阵的时空相关性，结合小波变换的多尺度建模能力和主成分分析的降维能力对网络的异常情况进行检测，其检测性优于PCA算法和KLE算法，而且网络异常在线检测方法的单步执行时间短，完全满足实时检测的需要。

本发明的技术方案：