[发明专利]基于机器学习的粗细粒度混合网络异常检测方法及装置

说明书

本发明公开了一种基于机器学习的粗细粒度混合的网络异常检测方法及装置，先用粗粒度算法如孤立森林模型算法检测部分样本，充分利用粗粒度算法无需距离测量的特征以节约计算成本，再用细粒度如Kmeans算法对难以区分的样本进行测量，提高正确率。本发明解决了异常检测中准确率与运算成本难以权衡的问题，大多数情况下仅用粗粒度就能够判别出样本是否异常，直接输出结果；对于少部分无法准确判别的样本采用粗细粒度混合方法检测，以提高准确性。

技术领域

本发明属于网络安全与机器学习技术领域，具体涉及一种基于机器学习的粗细粒度混合网络异常检测方法，还涉及一种基于机器学习的粗细粒度混合网络异常检测装置。

背景技术

网络异常攻击检测是通过将偏离正常行为的网络数据认定为异常来发现未知攻击。传统的网络异常攻击检测包括构建概率分布模型、聚类、异常点检测以及近邻性计算等方法。随着计算机网络及物联网的不断发展与普及，联网设备也出现了爆发性增长，根据预测，到2020年全球联网设备数量将达到260亿，这对于传统的网络攻击检测手段提出了挑战。首先，大量的异构终端设备往往存在不同的安全漏洞，不仅难于管理，又极易受到干扰和恶意攻击，使得传统的网络攻击异常检测变得困难。其次，位于不同物理位置和网络层级的设备联网后，传统的网络安全边际被打破，攻击者可通过设备终端在不同位置发起不同程度的攻击，攻击点增多，使得检测难度增大。

异常检测大体上可分为基于统计学的方法和基于机器学习的方法两种。随着人工智能(AI)与机器学习(ML)方法在计算机视觉、自然语音处理和语音识别等科学领域中的广泛应用，基于数据驱动的AI和ML方法，利用其强大的数据挖掘能力，能够在无人为干预的情况下进行动态调整，有效解决当前异常检测所遇到的困难。但检测系统通常采用的SVM、KNN和神经网络等单一算法对训练集要求较高，且计算特征距离会消耗大量的运算成本，而网络大部分时间总处于正常状态，因此，对于所有时刻的网络数据都采用高准确率的细粒度检测是繁杂且没有必要的，尤其是随着网络数据量的激增，细粒度网络异常检测方法的计算成本也越来越高。

发明内容

发明目的：为了解决单一检测方法准确度与计算成本难以平衡的问题，本发明提出一种基于机器学习的粗细粒度混合的网络异常检测方法及装置，该方法能够在保证准确率的情况下有效节约计算成本，提高检测效率。

为解决上述技术问题，本发明提供了一种基于机器学习的粗细粒度混合的网络异常检测方法，包括以下过程：

获取待检测的网络流量数据集；

对所述数据集进行粗粒度检测，得到粗粒度的检测结果D1；

计算检测结果D1中的异常占比，并将检测结果D1中的异常占比与第一预设阈值比较；

如果检测结果D1中的异常占比约等于预设阈值，则将检测结果D1作为网络异常检测结果；

否则，对检测结果D1进行粗细粒度混合检测，得到混合检测结果D2，作为网络异常检测结果。

进一步的，所述在获取待检测的网络流量数据集之后，还包括：

对数据集中的字符型特征进行数值型处理；

对数据集进行特征降维处理。

进一步的，所述对预处理后的数据集进行粗粒度检测，得到粗粒度的检测结果D1，包括：

将预处理后的数据集输入预先训练的孤立森林模型，得到粗粒度的检测结果D1。

进一步的，所述将预处理后的数据集输入预先训练的孤立森林模型，得到粗粒度的检测结果D1，包括：

将预处理后的数据集遍历粗粒度模型，计算每个样本的平均路径长度；

将每个样本的平均路径长度与预设的第一平均路径长度阈值比较；