[发明专利]结合GRU和SVDD进行网络日志异常检测方法

说明书

本发明公开结合GRU和SVDD进行网络日志异常检测方法，利用主成分分析对大规模网络日志数据集进行降维，提取有效的属性；然后，利用处理过的训练数据集用来训练GRU‑SVDD分类器模型；最后，将要检测的实际日志输入到GRU‑SVDD比较器，检测出日志中的异常。本发明优于经典的GRU‑MLP和LSTM等算法。本发明很好的对测试数据集中的异常情况进行检测和定位。

技术领域

本发明涉及网络异常检测领域，尤其涉及结合GRU和SVDD进行网络日志异常检测方法。

背景技术

随着大数据、物联网等技术的迅速发展，企业把各种应用业务放到远程的服务器平台上面，它们在带给人民许多便利同时针对大数据平台服务器的网络攻击变得更加普遍。预计到2019年，因为全球网络犯罪的时常发生，会给全球企业和人民带来高达2万亿美元的经济损失。这些服务器中的日志数据，即大数据平台收集到大量的高维度正常用户访问日志数据。从以往的文献来看，有效地保证系统的可靠性与安全性，对分析和利用大规模的历史日志数据已经呈现出巨大的潜力。如何有效的利用这些大规模网络日志数据集来高效率构建异常检测模型，并应用于大数据平台的异常检测分析中，具有非常重要的意义。

异常检测的研究已经成为了互联网安全领域内最为热门的一个研究主题，而且在各个领域都有其广泛的应用。例如医疗药物研究、检测信用卡欺诈、从Web日志中检测异常、检测金融贷款中异常情况和大数据平台方面异常检测。发现入侵最常用的方法是分析用户活动。学术界与工业界经常采用机器学习方法去发现服务器系统大规模历史网络日志数据中隐藏的规律。

现有的方法应用于大规模网络日志数据集时，已经取得了一定的进展,但依然存在如下两个个方面的问题。问题1：传统的异常检测算法没有很好地对这些高维度的特征属性数据进行降维，较好的方法也是随机抽取部分特征进行检测，算法检测效率低，而且需要消耗大量人力物力。问题2：现有的利用机器学习方法进行大规模网络日志数据异常检测的算法，大多是直接对已有正常和多种攻击类型进行分类，而对未知异常类型检测能力较弱而且检测准确率低。

发明内容

本发明的目的在于提供结合GRU和SVDD进行网络日志异常检测方法。

本发明采用的技术方案是：

结合GRU和SVDD进行网络日志异常检测方法，对高纬度和特征属性之间高相关的原始网络日志数据集进行数据降维处理,将网络日志数据集中的属性特征转化成一种属性间不相干的新主成分；然后利用了GRU来提取降维预处理过后的数据属性特征，最后利用高效率的单分类方法替代GRU的输出层获得异常用户。

进一步地，利用了主成分分析方法对高纬度和特征属性之间高相关的原始网络日志数据集进行数据降维处理。

进一步地，方法包括模型训练阶段和异常检测阶段，具体步骤如下：

模型训练阶段：

S1-1,获取训练用的网络日志数据集，并采用主成分分析进行降维处理后提出属性间不相干的主成分，得到训练样本；

S1-2,利用训练样本训练出GRU_SVDD分类模型，其具体步骤为：

S1-2-1,把处理过后的训练数据特征输入到GRU模型

S1-2-2,计算GRU中的单元状态并更新参数矩阵，并初始化参数weights和biases；

S1-2-3,把神经网络预测的结果通过SVDD单分类决策函数计算

S1-2-4,利用Adam optimizer算法进行最优化损失函数，调整参数矩阵weights和biases；

S1-2-5,训练出GRU_SVDD分类模型；

异常检测阶段：