[发明专利]一种网络流量数据分析方法及系统

权利要求书

1.一种网络流量数据的异常检测方法，其特征在于，该方法包括：

步骤1)对实时抓取原始网络流量数据进行处理，获取网络流数据；

步骤2)对步骤1)得到的网络流数据进行判断，判断结果是异常数据，则输出异常，并将该异常数据输入至预先训练的第一异常分类器中，判定该异常数据的攻击类型为已知攻击类型，输出该异常数据的攻击类型；步骤3)对步骤1)得到的网络流数据进行判断，判断结果不是异常数据，则采用无监督异常检测方法，进一步检测该网络流数据是否异常；

步骤4)根据步骤3)的进一步检测进行判断，判断结果是异常数据，则将该异常数据输入至预先训练的第二异常分类器中，判定该异常数据的类型为未知攻击类型，并将该异常数据标记为未知攻击类型；

步骤5)根据步骤3)的进一步检测进行判断，判断结果不是异常数据，则输出正常；

所述对实时抓取原始网络流量数据进行处理，获取网络流数据；具体包括:

实时抓取原始网络流量数据；

从获取的原始网络流量数据中提取可利用的数据特征，获取网络流量特征数据；

对获取的网络流量特征数据进行数据清洗和属性拆分，拆分为数值型数据和非数值型数据；

将非数值型数据输入至预先训练的稀疏自编码器进行重新编码，获取编码后的非数值型数据；

将数值型数据输入至预先建立的极端随机树模型，对数值型数据的重要性进行降序排列和筛选，获取筛选后的数值型数据；

对编码后的非数值型数据和筛选后的数值型数据进行归一化处理，获取网络流数据；

所述稀疏自编码器的建立和训练具体包括：

建立稀疏自编码器，基于稀疏自编码器的TCPIP2Vec算法，采用添加了KL散度稀疏惩罚项的交叉熵损失函数J_S(W,b)，对稀疏自编码器进行训练；

其中，为对编码函数所施加的KL散度惩罚项；ρ是稀疏参数，β是正则化参数；为编码层第j个隐藏单元的平均激活值；其中，的计算公式如下所示：

其中，n为训练时所设置的块样本个数；f(xⁱ)为编码函数，xⁱ是第i个样本；

KL为散度；其中，KL散度是比较两个概率分布之间相似性的一种度量，其计算公式如下：

其中，ρ(t)为稀疏参数函数；

其中，稀疏自编码器的输入为经过独热编码后的非数值特征集合；稀疏自编码器的输出为重新编码后的非数值特征集合，即为编码后的非数值型数据。

2.根据权利要求1所述的方法，其特征在于，所述将非数值型数据输入至预先训练的稀疏自编码器进行重新编码，获取编码后的非数值型数据；具体包括：

根据属性标号集合划分，对非数值型数据进行属性拆分，从非数值型数据中，获取非数值特征集合；

对该非数值特征集合进行独热编码，获取经过独热编码后的非数值特征集合，将其输入至预先训练的稀疏自编码器，获取从稀疏自编码器中提取的编码器；

借鉴自然语言处理中的Word2Vec算法，采用基于稀疏自编码器的TCPIP2Vec算法，对非数值特征集合的独热编码进行重新编码，获取编码后的非数值型数据。

3.根据权利要求1所述的方法，其特征在于，所述将数值型数据输入至预先建立的极端随机树模型，对数值型数据的重要性进行降序排列和筛选，获取筛选后的数值型数据；具体包括：

根据属性编号划分，对数值型数据进行属性拆分，获取拆分后的数值特征集合；

将拆分后的数值特征集合输入至预先建立的极端随机树模型，按照重要性对拆分后的数值特征集合内的各个数值特征进行从大到小降序排列，获得排序后的数值特征集合；

再根据预先设定好的阈值，对该排序后的数值特征集合进行筛选，获得大于预先设定的阈值的排序后的数值特征集合内的各个数值特征的重要性因子，记为筛选后的数值型数据。