[发明专利]一种基于自动编码器的网络流量异常行为识别方法

说明书

本发明提供一种基于自动编码器的网络流量异常行为识别方法，属于机器学习与信息安全结合的交叉技术领域，使用综合少数过采样方法来平衡流量数据中正常流量数据和异常流量数据的类别分布，并结合自动编码器，从而能够有效地从海量数据中提取非线性结构信息，识别出网络流量中的异常行为。

技术领域

本发明提出了一种有效的网络流量异常行为识别方法。该方法结合了综合少数过采样方法和自动编码器分类算法，属于机器学习与信息安全结合的交叉技术领域。

背景技术

随着信息化时代的飞速发展，互联网已经成为人们生活中不可缺少的一部分。然而，网络中的攻击行为的频率和攻击事件规模也不断增加，这些攻击行为不仅会造成巨大的经济损失，对社会稳定和国家安全也造成了严重的威胁，维护网络空间的安全已成为亟待解决的问题。为了更好的维护网络空间安全，保证各项网络资源的可用性，防止各种攻击行为的发生，作为主动防御方法的入侵检测技术成为当前研究的热点问题。入侵检测系统是一种积极主动的安全防护技术，可以监控网络中数据的传输行为，发现可疑传输后发出警报或中断异常传输行为。

入侵检测的概念最早是由James Anderson在1980年提出的，用于监控攻击行为。目前已经有大量的研究对网络入侵行为进行检测，这些工作可以分为基于误用的入侵检测系统(MIDS)和基于异常的入侵检测系统(AIDS)。MIDS又称基于签名的入侵检测系统，根据已有的知识来检测攻击行为。虽然MIDS具有较高的准确率和较低的误报率，但它无法检测不在签名数据库的未知攻击。不同于MIDS，AIDS可以通过比较正常行为和异常行为来检测未知的攻击。因此，AIDS正引起越来越多的关注，其中最重要的一种方法就是使用基于特征的传统机器学习方法，例如决策树、随机森林、朴素贝叶斯方法等。然而，基于传统机器学习方法的入侵检测通常强调特征工程，是较为浅层的学习方法。随着网络中海量高维数据的增加，网络带宽的提升，数据的复杂性和特征的多样性也在不断提升，浅层学习难以达到分析和预测的目的。

近年来，深度神经网络技术在图像识别、自然语言处理、语音识别等领域取得了巨大的成功。深度神经网络是一种对数据进行表征学习的方法，能够学习到数据的内在规律，通过构建多个隐藏层组建的非线性网络结构，来适应高维度学习和预测的要求。目前基于深度学习的入侵检测方法也很有发展前景，包括自动编码器、深度信念网络、递归神经网络、卷积神经网络、门控递归单元等，并取得了一定的成功。然而，这些用于入侵检测的深度学习方法仍然存在一些问题。

例如，由于存在类别不平衡问题，很多研究没有考虑流量数据的整体分布，决策函数偏向多数样本，低频攻击样本被视为噪声而忽略，导致模型难以捕获到有效的特征，难以检测到低频率的攻击。另一方面，一些研究在将符号数据转换为数值数据时，没有对高维数据进行处理，导致训练效率低、耗费存储空间、检测性能差。因此，对流量数据进行降维处理能够更好的提升入侵检测的效率和准确性。

发明内容

针对现有技术中存在的问题，本发明提出了一种新的深度神经网络入侵检测方法——基于自动编码器的网络流量异常行为识别方法，使用了综合少数过采样方法来平衡流量数据中正常流量数据和异常流量数据的类别分布，并结合自动编码器，从而能够有效地从海量数据中提取非线性结构信息。

为达到目的，本发明采用具体技术方案是：

一种基于自动编码器的网络流量异常行为识别方法，包括以下步骤：

1)使用自动编码器来构建稀疏异常入侵检测模型SAIDS；

2)对SAIDS模型进行训练，步骤包括：

SAIDS模型对原始训练数据进行预处理，对预处理后的训练数据采用综合少数过采样方法(SMOTE)来平衡流量数据中正常流量和异常流量的类别分布，得到平衡数据；

根据平衡数据来进行正常流量和异常流量的分类，计算损失值，找出最小损失值对应的模型参数，得到训练好的SAIDS模型；