[发明专利]一种基于带内遥测和机器学习的异常流量检测方法及装置

说明书

本发明公开了一种基于带内遥测和机器学习的异常流量检测方法，该方法包含以下步骤：通过源路由结合带内遥测技术(INT)，实现实时的、端到端的、具有数据包级别细粒度的网络流量信息监控；通过SVM支持向量机算法，根据带内遥测所得到的流量特征集，训练流量分类模型；使用训练后模型对遥测所得的流量特征进行分析，实现异常流量的实时分类；对带内遥测所获得的遥测信息以及异常流量检测结果进行可视化展示，实现异常流量可视化。该方法使用带内网络遥测实现对网络实现网络流量信息监控，同时，提出使用SVM支持向量机算法训练流量分类模型，将遥测数据代入模型中实现异常流量检测。具有细粒度、无额外延迟、保证网络可靠性的优点。

技术领域

本发明涉及计算机网络技术领域，特别设计一种基于带内遥测和机器学习的异常检测方法及装备。

背景技术

如今随着互联网的发展，数据中心网络的规模日渐增大，随着网络应用程序的大规模增多，网络性能异常如网络延迟、带宽拥塞、高丢包率等问题也日渐突出。因此，对于云提供商而言，能够依靠先进的、实时的、细粒度的网络监控来高效识别网络性能异常，从而实现更好的网络可靠性和实时流量控制日趋重要。随着软件定义网络(SDN)和可编程数据平面技术的发展，带内网络遥测技术(INT)应运而生。INT允许数据包在数据平面逐跳采集网络状态信息，与传统网络测量方式不同，其利用数据平面直接驱动网络测量过程，不需要控制平面的干预从而避免引起额外的延迟，这颠覆了传统网络测量中将网络交换设备视为中间黑匣子的思路。带内遥测依赖于在数据包头中所嵌入的可变长度INT标签栈，在数据包流经数据平面转发路径的交换机/路由器时，探测包将会根据INT标签栈中的指令提取所流经设备的内部状态并存入INT标签栈中。在抵达最后一跳时，边缘设备会将INT标签栈弹出并封装成新的数据包，将其上交给监控平台进行进一步的分析；而原始的数据包则正常转发到预定的目标主机。

传统网络测量主要分为主动测量、被动测量和混合网络测量。主动测量通过自主向网络发送数据探测包来进行测量。被动测量是通过流量镜像和代理报告直接导出网络流量信息，并对信息进行连续分析来进行测量。混合网络测量是取上述两者之长设计出的测量机制。在传统网络测量方法中，管理平面协议如简单网络管理协议(SNMP)通常用于轮询，每隔一段时间收集一次网络设备状态。

然而，上述传统网络测量方式存在一些弊端，控制平面与数据平面之间的不断交互容易引起许多额外的延迟；额外使用探测包进行测量给网络增加了额外的带宽开销且所得到的结果无法准确反映实时网络性能；并且，由于CPU资源的限制，不断轮询CPU来收集设备状态的方法是粗粒度的。

发明内容

本发明旨在至少能够在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于带内遥测和机器学习的异常流量检测方法，该方法能够对网络信息进行实时的、端到端的、细粒度的网络监控，实时检测出异常流量并实现将遥测信息以及异常流量检测结果可视化。有效地提高了网络的可靠性。

本发明的另一个目的在于提出一种基于带内遥测和机器学习的异常流量检测装置。

为了达到上述目的，本发明一方面实施例提出了一种基于带内遥测和机器学习的异常流量检测方法，包括以下步骤：通过源路由结合带内遥测技术(INT)，实现实时的、端到端的、具有数据包级别细粒度的网络流量信息监控；通过SVM支持向量机算法，根据带内遥测所得到的流量特征集，训练流量分类模型；使用训练后模型对遥测所得的流量特征进行分析，实现异常流量的实时分类；对带内遥测所获得的遥测信息以及异常流量检测结果进行可视化展示，实现异常流量可视化。

本发明实施例的基于带内遥测和机器学习的异常流量检测方法，使用源路由结合带内遥测技术来提出一个实时的、端到端的、具有数据包级别细粒度的网络流量信息监控机制，并且提出基于SVM支持向量机算法来实现异常流量分类模型，并提出将遥测获得的流量根据其特征使用训练后的分类模型从而实时检测异常流量，提出将带内遥测所获得的遥测信息以及异常流量检测结果进行可视化展示，从而实现异常流量可视化，有效地提高网络的可靠性。