[发明专利]一种基于深度学习策略的异常加密流量检测与分类方法

说明书

本发明提出了一种基于深度学习策略的异常加密流量检测与分类方法，既能对使用公有加密协议的已知类型异常加密流量进行在线快速识别，又能对使用私有加密协议的未知类型异常加密流量进行检测与分类。该方法利用相邻做差法对原始数据进行特征加强，利用加强后的数据集中带有协议标签的数据训练1dCNN(一维卷积神经网络)模型来对已知类型异常加密流量进行检测与分类，利用k‑means算法(k‑均值算法)对加强后的数据集中没有协议标签的未知类型异常加密流量进行分类。

技术领域

本发明属于异常加密流量检测技术领域，具体涉及一种基于深度学习策略的异常加密流量检测与分类方法。

背景技术

在网络安全领域，为了对异常加密流量采取相应措施，通常需要先从混合流量种识别出正常流量和异常加密流量。相对来说这是比较容易的，因为它是一个二分类问题，而且流量是否经过加密很容易就可以判断出来。在此基础上，正常流量和异常加密流量可能分别包含对应多种具体应用和协议的流量；在进行网络管理时，需要将混合流量按照不同的协议或应用具体划分。

按发展历史异常加密流量检测技术分为三大类：第一种，基于端口检测，适合于传统网络环境中各种协议使用固定端口的情况，简单、直接、高效，并且不会涉及到用户隐私；第二种，基于深度包检测(DPI)，检测数据包负载中的特征码从而识别流量协议；第三种，由于机器学习的强大能力，基于机器学习(ML)的网络协议识别技术越发热门，通过统计流量的宏观特征，而不是关注布局特征，进行流量的识别。这使得网络协议识别技术更加智能化，准确率更高，应用范围更广。

从2004年开始，已经出现了将机器学习方法与网络协议分类结合到一起的尝试。其中，2004年，McGregor首先提出将机器学习运用到网络协议分类领域，他运用的是基于EM的无监督学习方法。利用这种方法，成功的尝试了对HTTP，FTP，SMTP，IMAP等协议进行分类。2005年，Zander使用贝叶斯分类器和EM构建模型分类器，提出了AutoClass。利用这个模型对8种网络协议进行了分类，平均分类准确率达到了80％以上。2005年，Moore使用机器学习方法尝试对网络协议进行分类。248个函数用于训练分类器并分类批量数据传输，实现超过90％的网络协议的平均分类准确度。但是该方法分类P2P网络流量的协议时准确率不尽人意，只有55％。2007年，Erman提出了半监督的网络协议分类方法，成功将分类准确率提高到了94％，实现了跨时代的进步。中国科学院的研究人员率先提出了基于FPGA的10千兆流并行实时处理系统。北邮的马严提出了基于多决策树的分类方法；国防科大教授孙志刚提出了基于Bloom Filter的数据包分类方法。

基于端口的检测方法简单、直接、高效，并且不会涉及到用户隐私，但由于现在新的协议已不再在IANA登记端口，并且很多协议采用动态端口，因此基于端口的检测方法已不再适用，只能作为一种辅助方法。基于深度包检测的方法理论上可以检测识别所有的协议，但是计算的时间和空间复杂度都很高，且会侵犯到用户隐私；并且需要维护当前所有协议的特征库，当出现新的协议时，需要更新数据库来同步新的协议；不能应对加密网络协议。Sherry等提出了一种新的DPI系统，可以直接检测加密的数据包载荷，检测过程不需解密数据包，可以保护了用户的隐私，但它只能处理HTTPS流量。目前研究较多的是基于机器学习的分类方法，从人工智能的角度看，基于端口和基于负载深度包的方法是基于规则的方法，它通过匹配预定义的硬编码规则来执行流量分类。机器学习方法是基于统计和行为的方法，它通过使用一组选择性特征从经验数据中提取模式来对流量进行分类。基于机器学习的方法更加智能化，准确率更高，应用范围更广；但也存在一定的缺陷，需要手工设计流量特征，然后进行特征提取，再进行分类，十分繁琐。