[发明专利]一种基于XGBoost的端口扫描恶意流量的检测方法

说明书

一种基于XGBoost的端口扫描恶意流量的检测方法，利用已知的标准恶意流量数据集(CICIDS2017数据集)构成的基础流量数据集B，确认根据该基础数据集对XGBoost模型进行训练，获得训练好的XGBoost模型，使用训练好的XGBoost模型对软件定义网络的流量进行在线检测是否存在端口扫描恶意流量，对于存在误检或者漏检的情况采用人工办法进行干预；将误检或者漏检的流量标签进行重置，并将该流量加入到基础数据集中形成更新的数据集B′，当B′中新增流量样本增加到一定的比例时，重启XGBoost训练，获得优化的XGBoost模型，从而达到不断提升恶意流量检测成功率的目的。

技术领域

本发明涉及互联网技术领域，更具体地说，本发明涉及一种基于XGBoost 的端口扫描恶意流量的检测方法。

背景技术

随着互联网技术的发展，网络流量正在迅速增加，用户访问互联网所产生的流量部分来源于传统的网络服务，例如网页浏览、电子邮件，另一部分则来源于种类繁多的多媒体服务，例如视频、游戏、社交平台等等。互联网的总体流量正在迅速增加，伴随着商业或其他的目的，随之而来的是恶意流量也在迅猛增加，严重影响着互联网服务商为用户提供服务的质量。

一般而言，端口扫描是进攻一台机器的第一步。因此，IDS能够从端口扫描阶段就发现威胁就变得尤为重要。目前，对端口扫描的恶意流量检测主要分为两大类。一是基于规则的检测技术，主要方式是定义一系列规则，如果某个行为满足了这一系列规则所定义的条件，则判定为是端口扫描攻击。这种检测方法的局限性在于随着攻击的模式增加，所需要的规则数量也在不断增加，从而影响到检测性能，而且容易被攻击者绕开。

另一种是应用机器学习的方法检测攻击行为，通过对大量数据的分析提取特征、标注等手段建立攻击行为模型，从而达到检测端口扫描恶意流量的目的。目前，基于机器学习的恶意流量检测方法上，主要算法有朴素贝叶斯、决策树以及SVM等。但这些方法在实际的运用中，存在检测成功不太高的问题；本发明基于机器学习的方法的优势，发明了一种基于XGBoost的端口扫描恶意流量的检测方法，有效地提升了检测成功率的同时，还保持着检测速度快的优势。

发明内容

为了克服现有技术的上述缺陷，本发明的实施例提供一种基于XGBoost 的端口扫描恶意流量的检测方法，通过需要设计一套方法来避免这些问题，以达到升了检测成功率的同时，还保持着检测速度快的优势的目的，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种基于XGBoost的端口扫描恶意流量的检测方法，利用已知的标准恶意流量数据集(CICIDS2017数据集)构成的基础流量数据集B，确认根据该基础数据集对XGBoost模型进行训练，获得训练好的XGBoost模型，使用训练好的XGBoost模型对软件定义网络的流量进行在线检测是否存在端口扫描恶意流量，对于存在误检或者漏检的情况采用人工办法进行干预，将误检或者漏检的流量标签进行重置，并将该流量加入到基础数据集中形成更新的数据集B′，当数据集B′中的样本数量增加到一定的比例时，重启XGBoost训练，获得优化的XGBoost模型，从而达到不断提升恶意流量检测成功率的目的。

在一个优选地实施方式中，步骤一：基于标准流量数据集对XGBoost模型初始化：从互联网上下载CICIDS2017数据集构成本方法的基础流量数据集 B，所述该数据集包含良性流量和常见攻击，其中包括端口扫描恶意流量，与真实世界流量数据具有高度的一致性，该数据集还包括使用CICFlowMeter进行的网络流量分析的结果，使用包头信息中的五元组基于时间戳、源和目标 ip、源和目标端口、协议和攻击CSV文件的标记流量。

在一个优选地实施方式中，将所述基础流量数据集B按比例分成两部分B₁和B₂，其中B₁为训练数据集，所述训练数据集B₁的样本从B中随机挑选；B₂为验证数据集，其样本为数据集B中除去B₁的部分。