[发明专利]一种网络流量数据分析方法及系统

说明书

本发明属于网络流量数据分析技术领域，具体涉及一种网络流量数据的异常检测方法，该方法包括：对实时抓取原始网络流量数据进行处理，获取网络流数据；如果该网络流数据是异常数据，则输出异常，并将该异常数据输入至预先训练的第一异常分类器中，判定该异常数据的攻击类型为已知攻击类型，输出该异常数据的攻击类型；如果该网络流数据不是异常数据，则采用无监督异常检测方法，进一步检测该网络流数据是否异常；如果该网络流数据是异常数据，则将该异常数据输入至预先训练的第二异常分类器中，判定该异常数据的类型为未知攻击类型，并将该异常数据标记为未知攻击类型；如果该网络流数据不是异常数据，则输出正常。

技术领域

本发明属于基于机器学习和大数据的异常检测技术和网络流量数据分析技术领域，特别涉及一种网络流量数据分析方法及系统，具体地，一种基于稀疏自编码器和极端随机树的网络流量数据分析方法及系统。

背景技术

近几十年来，随着互联网的迅速发展，从消费互联、产业互联到万物互联，人们的交流方式、消费模式都被一次次重塑。与之而来的网络安全问题也变得越来越棘手，层出不穷的网络攻击使得传统防御手段在面临新的攻击方式时显得力不从心。从基础的数据链路层到网络层和传输层，再到比较高级的表示层和应用层，网络攻击的方式纷繁复杂，且在不断更新，使用一种手段往往不能尽如人意，例如，规模不断增长的分布式拒绝服务攻击(DDOS)，它既有利用TCP/IP协议特征的传统网络层DDOS攻击，也有在此基础上发展起来的应用层DDOS攻击，具体到应用层，又可以分为DNS-Flood攻击、慢连接攻击和CC攻击。

为了保证网络安全，各种网络安全技术应运而生，其中，网络流量分析和入侵检测技术，对检测网络流量中的异常进而提出预警起到了十分关键的作用。目前的网络流数据分析及入侵检测方法有很多，主要包括：基于特征库的传统方法、基于概率和规则的统计方法、基于分类技术的监督学习方法、基于聚类技术的无监督学习以及衍生出来的基于离群点检测的技术，在这些方法的基础上，研究学者们建立了许多网络异常检测系统，实验的效果很好，但是，当投入到具体使用的时候常常会发现很多问题。简单来说，在异常检测领域，异常可以分为点异常、条件异常和模式异常，不同的检测系统针对点异常大多数是行之有效的，针对条件异常和模式异常，常常就需要权衡准确率和误报率。

例如，基于传统特征库的异常检测系统需要频繁更新特征库，对于未知的异常或者简单加密处理的数据流完全无法检测，而且特征库的维护和更新的成本也是极高的；基于概率和规则的统计方法当网络流量变得复杂的时候，常常会把异常网络流数据判定为正常，容易受到攻击者的利用；

基于聚类和离群点的无监督检测系统就会常常面临当数据规模和特征维度较高的时候，算法训练速度极慢、参数选择困难以及误报率较高的问题。

网络的互通互联以及大数据时代的到来，使得网络数据规模呈现指数级别的增长，每天都会产生大量的流量数据。虽然这些数据大部分是正常流量；但是，异常流量的规模和种类也在不断地增长，这给网络安全领域来带来了新的机遇和挑战。在大数据时代，由于网络流量数据特征变得越来越丰富，基于传统地KDD-CUP99或者NSL-KDD数据集而建立的现有异常检测系统存在可靠性差、准确率低和误报率高等问题。无论是网络入侵分析还是企业内部威胁分析，现有的方法都会面临着各式各样的问题，检测和防御系统都极其依赖于对网络流数据的高效分析如何根据新的数据特征，建立有效的特征预处理、特征选择和特征提取工具是一个十分重要地问题。

发明内容