[发明专利]一种流量检测方法、装置、设备及介质

说明书

本公开涉及一种流量检测方法、装置、介质及设备，其中，所述方法包括：对网络流量进行实时抓取，将每个抓取到的流量包输入至流量管道；对从所述流量管道中提取抓获的流量包进行分段，将分段后的通信流输入至通信流管道；对所述通信流管道中的通信流进行特征提取得到特征数据；对所述特征数据进行流量检测分类模型训练得到最终的流量检测分类模型。与现有方法相比，本公开的方法相比于需要大量标注数据才可以训练完备模型的监督学习不同，降低了训练初期对已标注数据的需求，减少了前期利用专家经验进行标注的时间；本公开的方法提取了更多的加密流量特征，并使用了模型融合的方式，提高了分类器对加密流量的识别率。

技术领域

本公开涉及互联网技术领域，更为具体来说，本公开涉及一种流量检测方法、装置、设备及介质。

背景技术

随着互联网技术的发展和网络应用技术的革新，用户对于网络质量以及安全性等的要求也越来越高。为了保护用户的个人隐私，确保数据传递的目标可以信任、数据传递过程中减少泄漏和被篡改的风险，互联网SP不断引入了HTTPS协议。

根据W3Techs(World Wide Web Technology Surveys)的调查显示，全球已有67.7％的网站选择HTTPS(Hyper Text Transfer Protocol over Secure Socket Layer)作为默认协议，且该比率仍然呈上升趋势。根据Google透明度报告“Chrome中的HTTPS加密情况”来看，Chrome加载网页中启用加密通信协议的比例已经达到了95％。虽然HTTPS保护了敏感信息的机密性和完整性，但同时也为恶意加密流量提供了庇护。因而对于加密流量进行检测显得愈发重要。

由于应用层数据被加密，许多网络安全厂商选择了先解密流量再使用基于规则判断的传统方法进行流量检测。这些网络安全检测设备作为通信代理，与通信双方协商密钥，从而拥有解密所有流量的能力。这种方式违背了HTTPS保护信息机密性的初衷，也增加了黑客窥视到流量内容的风险。一种可行且合理的方式是进行网络流量分析。早期的流量分析方法(DPI)依赖于数据包的端口号和内容，一些其他形式的分析方法利用了TLS指纹信息和URL。而这些信息对于检测恶意加密流量显然是不充分的。因此需要提取更多的流量特征帮助进行加密流量的检测。

一些现有的专利提供了使用机器学习进行加密流量检测的方法，此类方法虽然理论上可以实现对加密流量的检测，但是在实际部署的过程中，模型的训练效果会受到已标记数据量的制约。这是因为，流量加密导致对流量内容进行识别变得困难，从而增大了获取标记流量数据的难度。另外，大多数专利仅使用单个模型或者同类型的多个模型进行分类，由于单个模型或者同类型模型对于数据集的视角大多相近，这会导致模型无法尽可能的识别数据集内不同特征间的内在关联，从而丢失了检测准确度。

发明内容

为解决现有技术的分类模型不能满足用户对于流量检测的实际需求的技术问题。

为实现上述技术目的，本公开提供了一种流量检测方法，所述方法包括：

对网络流量进行实时抓取，将每个抓取到的流量包输入至流量管道；

对从所述流量管道中提取抓获的流量包进行分段，将分段后的通信流输入至通信流管道；

对所述通信流管道中的通信流进行特征提取得到特征数据；

对所述特征数据进行流量检测分类模型训练得到最终的流量检测分类模型；

利用所述流量检测分类模型进行流量检测。

进一步，所述特征提取的过程具体包括：

对每一段通信流，对其在整个通信周期内的TCP层特征、TLS握手阶段的加密套件特征以及TLS证书特征共计三类特征进行特征提取。

进一步，所述TCP层特征具体包括：