[发明专利]一种基于深度嵌入的未知恶意流量主动检测系统及方法

说明书

一种基于深度嵌入的未知恶意流量主动检测系统及方法，包括：预处理模块、深度嵌入模块、最优边界搜索模块和检测模块；预处理模块将长度不一的各个应用中的网络流表示为固定大小的流矩阵；深度嵌入模块：在训练阶段，以预处理模块输出的流矩阵作为输入，通过训练孪生卷积神经网络学习一种非线性映射，使得在非线性映射后的嵌入空间下，同一个应用产生的网络流分布更加紧凑，不同应用产生的网络流分布更加离散；在测试阶段，使用训练好的卷积神经网络将待识别的流矩阵映射到嵌入空间下；最优边界搜索模块：在嵌入空间下，为各个已知类别应用的网络流寻找最优分类超平面，最后构建分类器；检测模块基于最优边界搜索模块得到的分类器，判断待识别的网络流是否来自未知的恶意应用。

技术领域

本发明涉及一种基于深度嵌入的未知恶意流量主动检测系统及方法，属于网络安全技术 领域。

背景技术

近年来，随着网络技术的发展，网络攻击事件层出不穷。据腾讯安全发布的《2017年度互联网安全报告》显示，在2017年，全球有高达86％的公司曾经经历至少一次网络 攻击。网络流量作为网络攻击的载体，往往包含攻击相关信息，因此对网络流量进行异 常检测对于有效识别恶意软件保障网络安全至关重要。

当前的恶意软件检测方法可以归为两类：基于签名的方法和基于机器学习的方法。 基于签名的方法根据已知恶意软件样本来生成签名数据库，通过将待识别样本与签名数 据库中的签名进行匹配来检测恶意样本。这种方法检测准确率高，但是其检测能力局限于签名数据库中包含的已知恶意样本。与基于签名的方法相比，基于机器学习的方法具 有检测新的未知恶意软件的能力。根据训练阶段是否需要标签信息，基于机器学习的方 法又可以进一步分为监督式方法和非监督式方法两类。虽然非监督式的方法具有天生的 检测未知的能力，但是它的高误报率限制了它在现实环境下的应用。相比于非监督式的 方法，监督式的方法在已标记的恶意样本上训练分类器，可以获得更高的准确率和更低 的误报率。但是其仍面临以下两个方面的不足：第一，分类器的检测能力依赖于训练使 用的恶意软件样本，只有已知的恶意软件样本或者其变种可以被成功检测；第二，获得 大量的恶意软件样本非常困难，对于未知恶意软件和0-day攻击，甚至都没有训练样本可 供获取。因此，仅使用正常样本来构建具有未知威胁检测能力的分类器十分必要。

传统的多类分类器的构建往往是建立在“封闭世界”的假设(closed worldassumption) 之下的，即，其认为在测试阶段出现的样本类别在训练阶段都出现过。一旦分类器构建 完毕，其类别也随之确定，任何测试样本都会被分类到已知类别中。但是在现实情况下， 测试阶段往往可能出现新的未知类别数据，例如，0-day攻击或新的未知恶意软件产生的 数据。

基于单类分类器的恶意流量检测方法也是通过对正常网络流量建模来检测恶意流 量。其中，单类SVM是最常被使用的算法，在这些相关文献中，不同的特征被提取来表 征流量数据。Schwenk等人提出了DUMONT，它从HTTP请求中提取了包括熵、头部字 段长度、流量时序特点等17个数字特征来检测隐秘传输。Sakib等人从HTTP请求数据包 和DNS响应数据包中提取了统计特征来检测基于HTTP的僵尸主机CC通信流量。 Nguyen等人在提取的2v-gram特征上应用卡方检验来选择最优特征集来进行入侵检测。 虽然基于单类分类器的方法具有一定程度的未知威胁检测能力，但是由于其在构建检测 模型时只考虑了本类别自身的信息，而没有考虑其他类别的信息，因此已有的基于多类 分类器的恶意软件检测方法往往是建立在封闭世界的假设之下，其检测能力局限于已知 恶意软件样本或者其变种。而基于单类分类器的方法虽然可以检测新的未知恶意软件， 但是由于其在构建检测模型时只考虑了本类别自身的信息而没有考虑其他类别的信息， 因此，往往具有较高的误报率和较低的检测率。

发明内容

本发明技术解决问题：克服现有技术的不足，提供一种基于深度嵌入的未知恶意流 量主动检测系统及方法，通过解决开放空间分类问题来识别未知恶意流量，具有更低的误报率和更高的检测率。

本发明技术解决方案：