[发明专利]云流量下的数据采集监控分析的方法及系统

说明书

本发明提供了一种云流量下的数据采集监控分析的方法，包括如下步骤：步骤1：云内环境中的流量进行镜像处理；步骤2：云内环境中对所述步骤1得到的流量进行采集、封装标识、发送；步骤3：云外环境中对所述步骤2得到的流量进行采集；步骤4：云外环境中对所述步骤3得到的流量进行网络协议分析。本发明有效的适应各种云环境下的数据流量采集转换，有效的解决了云环境中容器创建销毁时IP动态变化导致的网络流量解析困难的问题，能够准确快速的识别处理复杂网络环境下的数据包。

技术领域

本发明涉及数据采集监控分析的技术领域，具体地，涉及一种云流量下的数据采集监控分析的方法及系统。

背景技术

在现如今的银行、券商、网络运营商业中，数据流量的采集和监控分析，是保障业务稳定良好运行的一个重要运维手段。图1是一个典型的网络数据传输拓扑图。数据在被监控环境中采集，通过诸如交换机类的网络交换装置被传输到监控系统做后续的处理。

传统的数据采集处理方案如图2所示。通过交换机或路由器，将端口的数据流量镜像至某个特定端口，端口使用网线连接，设置混杂模式后进行抓包，采集该特定端口的流量，采集的流量包可以进行后续的协议分析和监控分析，生成相应的业务数据。

公开号为CN101188531A的中国发明专利文件公开了一种监测网络流量异常的方法及系统，解决现有采用交换机镜像技术监测流量异常，带来交换机性能损耗、数据包丢失等问题。该方法包括：先通过粗粒度监测方法定位交换机中流量异常的端口，然后自动调整交换机的镜像端口，将异常端口流量复制到所述镜像端口，最后再采用细粒度监测方法对镜像端口流量进行分析，得出流量异常原因。该方法是对传统交换机镜像技术的改进，只有在流量异常的时候才会触发交换机镜像，大部分时间内不会使用交换机的镜像功能，所以不会增加负载而影响交换机的性能；而且，通过动态而有针对性的方式调整镜像端口，避免了将多个端口镜像到一个端口带来的丢包情况。

针对上述中的现有技术，发明人认为随着云时代的到来，云技术不断发展，传统的数据采集方案面临着以下两个问题：一是监控系统一般位于云外，云内的被监控环境无法再用网线连接的方式采集数据，而是需要业务网络的采集传输方案；二是云内环境中，容器的创建和销毁，会使得数据包的IP在每一次创建时发生变化，传统的通过IP+PORT的配置方式识别和解析网络流量已经无法满足现场的动态化场景。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种云流量下的数据采集监控分析的方法及系统。

根据本发明提供的一种云流量下的数据采集监控分析的方法，包括如下步骤：

步骤1：云内环境中的流量进行镜像处理；

步骤2：云内环境中对所述步骤1得到的流量进行采集、封装标识、发送；

步骤3：云外环境中对所述步骤2得到的流量进行采集；

步骤4：云外环境中对所述步骤3得到的流量进行网络协议分析。

优选的，所述步骤1中的云内环境中的流量包括Vmware流量、Docker流量和K8S流量。

优选的，所述步骤2包括如下步骤：

云内流量采集步骤：云内环境中对所述步骤1得到的流量进行采集；

封装标识步骤：云内环境中按配置对所述云内流量采集步骤得到的流量进行封装和标识；

云内流量发送步骤：云内环境中将所述封装标识步骤得到的流量发送到云外环境。

优选的，所述封装标识步骤中通过封装协议对采集的流量进行封装和标识，封装协议包括GRE、VLAN、IPX、VXLAN和MPLS。

优选的，所述步骤3包括如下步骤：