[发明专利]一种基于张量模型的在线网络流量异常检测方法及系统

说明书

本发明公开一种基于张量模型的在线网络流量异常检测方法及系统，该方法包括：根据三维张量模型对采集的数据建模；通过一个固定窗口获得当前时刻数据矩阵；通过历史张量数据矩阵对当前时刻数据矩阵进行迭代训练，将当前张量数据分解为三个因子矩阵并更新，从而获得当前时刻数据中的正常数据；根据当前时刻数据矩阵与正常数据获得误差张量数据，通过非松弛方法进行异常检测获得异常数据；在当前时刻正常数据与前一时刻正常数据之差的绝对值小于异常数据的个数阈值时，停止上述迭代，并根据异常数据在误差张量数据中的位置输出异常张量数据。解决现有技术中难于表征多维数据和无法在线检测等问题，实现多维表征及在线检测。

技术领域

本发明涉及网络检测技术领域，具体是一种基于张量模型的在线网络流量异常检测方法及系统。

背景技术

随着网络规模的不断扩大以及网络应用的持续深化，网络攻击的危害性越来越大，威胁到网络的正常运行，严重时，大规模网络攻击(如分布式拒绝服务攻击DDos(Distributed Dos)，大规模蠕虫Worms爆发等)会给网络带来灾难性后果。网络攻击发生时，通常会导致网络流量出现不同寻常的变化，而且这种变化可能会蔓延多个链路。

根据Hawkins等人对异常的定义：异常是远离其它观测数据而疑为不同机制产生的观测数据，参见参考文件[1]。异常检测就是检测和发现数据中不符合正常(期望)行为的异常数据模式。根据应用领域的不同，这些异常的模式也被称为野值点、新颖点、离群点或者污点。网络流量异常检测作为一种行之有效的网络防护手段，对网络管理、网络安全、防御网络攻击等都至关重要。

异常检测方法识别入侵是基于数据流的行为，而不是特征匹配。由此，它可以检测未知的攻击，这也是异常检测技术得以受到重视的重要原因。网络流量异常检测的突出任务就是将网络正常流量数据和异常流量数据隔离，从而检测和定位网络异常。异常检测的核心是异常检测算法的实现和正常模型建立。除了需要在纷杂的网络流量测量数据中准确定义正常流量模型之外，异常检测任务的特殊性往往在于只有符合期望行为的数据模式，而罕有或未知违反符合期望(异常类)行为的数据模式，即观测数据的极端不平衡性(异常类样本的数远小于正常样本数)，这使得异常检测非常困难。

虽然网络流量异常检测对网络安全和防御非常重要，现有的网络流量异常检测技术存在检测率不高、误报率、漏报率高等缺点。因此，研究高精度网络流量异常检测算法具有十分重要的意义。

异常检测算法通常可以分为以下三类：基于距离的方法，基于密度的方法，基于统计模型的方法。

基于距离的检测方法通过计算被测样本和目标样本之间的绝对距离或者相对距离来判断是否为异常数据，预定义的距离阈值是唯一的判别尺度。如果实际距离超出这个阈值，则被判定为异常，否则就为正常。

基于密度的方法是基于距离方法的扩展，如果被测对象所处的位置的密度低于预定义的密度阈值，则被判定为异常，否则，则为正常。代表的基于密度的检测算法包括：Daniel等人应用Parzen窗密度估计进行入侵检测具体参见参考文献[1]，Roberts等人参见参考文件[2]以及Ilonen等人参见参考文件 [3]利用混合高斯模型参见参考文件[4]估计出训练数据的分布并进行异常检测，Breuning等人则利用k-NN图设计出局部异常因子(LOF)参见参考文献 [5]进行异常检测，Tartakovsky等参考文献[6]则利用估计的密度比进行网络流量的变化点检测。Hido等参考文献[7]避过直接的密度估计，估计训练集和测试集上的密度比进行异常检测，Chen等人参见参考文献[8]利用一个类似于密度的“深度”概念，采用核化空间的深度函数进行异常检测。