[发明专利]一种基于改进XGBoost算法的数据中台入侵分类检测方法

说明书

本发明公开了一种基于改进XGBoost算法的数据中台入侵分类检测方法，涉及数据中台入侵分类检测技术领域。该基于改进XGBoost算法的数据中台入侵分类检测方法包括XGB‑DNN模型设计以及算法，所述XGB‑DNN模型设计包括以下步骤：输入、输出。所述XGB‑DNN模型是由XGBoost和DNN所构成的组合模型。使用XGBoost算法进行特征选择。XGBoost算法是采用分步前向加性模型，只不过在每次迭代中生成弱学习器后不再需要计算一个系数，算法通过优化结构化损失函数，通过加入正则项的损失函数，起到降低过拟合的风险，来实现弱学习器的生成。XGBoost算法没有采用搜索算法，而是直接利用了损失函数的一阶导数和二阶导数值，并通过预排序、加权分位数等技术来大大提高算法的性能。

技术领域

本发明涉及数据中台入侵分类检测技术领域，具体为一种基于改进XGBoost算法的数据中台入侵分类检测方法。

背景技术

信息技术的发展导致了网络攻击的增加，早期的网络攻击主要出于对技术的好奇。然而近年来，网络攻击数量呈爆炸式增长，给社会的稳定发展造成了巨大的经济损失，设计高效的入侵检测系统已经成为网络安全的首要目标。

目前网络高速发展,网络数据量庞大、数据维度高，会使入侵检测异常困难。通常采用特征选择的方法减少数据冗余，降低时间资源开销。较为流行的特征选择方法有过滤式、封装式和嵌入式三种。过滤式方法适合大数据量的数据集，虽然速度快但是模型精度不够，比较容易过拟合。而采用封装式算法，选择的特征虽然足够精确，但是在计算方面训练成本极高。而嵌入式方法能兼顾前两种方法的优点,但是特征子集的评价机制较难把握。而通过混合不同的特征选择方法来结合其优点成为目前特征选择算法的研究重点。混合过滤式和封装式的特征选择方法，在较短的时间内得到较小的特征集可以达到相同或更好的整体预测精度，但是针对少数类的预测准确率较低，作为已知攻击的最小变体构建的。另一方面，基于异常的检测技术的优势在于其检测先前未见的入侵事件的潜力。然而,基于异常的系统中的误报率通常高于基于签名的系统，现有的大多数解决方案都集中在基于签名的技术上。这些技术遭受高误差率和计算成本的增加。此外，现有的IDS设计有严格的规则，它们很容易出现误报和漏报。这些高误检率使得在实际的大规模系统中安装IDS变得具有挑战性。

近年来，网络入侵检测领域的研究主要集中在浅层机器学习技术上，如K-近邻算法、SVM、朴素贝叶斯、随机森林、决策树和人工神经网络等。浅层学习算法的应用提高了检测精度。另一方面，这些方法需要领域专家知识来从数据中识别有用的模式。计算成本昂贵，也容易出错。深度学习的最新研究，在诸如语音识别和图像处理等均得到了应用。深度学习是机器学习算法的子集，可以克服浅层学习算法的一些限制。深度学习专注于更快的网络异常检测以及更深入的网络数据分析。与浅层学习技术的性能相比,其分层特征学习显示出更好的结果。在DNN上，特征的数量增加,这可能导致训练数据的过拟合。鉴于此，我们提出了一种基于改进XGBoost算法的数据中台入侵分类检测方法。

发明内容

（一）解决的技术问题

针对现有技术的不足，本发明提供了一种基于改进XGBoost算法的数据中台入侵分类检测方法，解决了上述背景技术中提出的问题。

（二）技术方案

为实现以上目的，本发明通过以下技术方案予以实现：一种基于改进XGBoost算法的数据中台入侵分类检测方法，该基于改进XGBoost算法的数据中台入侵分类检测方法包括XGB-DNN模型设计以及算法，所述XGB-DNN模型设计包括以下步骤：

S1、输入：NSL-KDD数据集；

S2、输出：NSL-KDD数据集使用特定的类标签分类为正常或攻击。

所述XGB-DNN模型算法包括以下步骤：

步骤1、对输入的NSL-KDD数据集进行数据清洗；

步骤2、使用最小-最大技术对NSL-KDD进行归一化；

步骤3、应用XGBoost特征重要性评分进行特征选择；