[发明专利]一种网络流量采集方法

说明书

本发明公开了一种网络流量采集方法。为了克服现有技术通过交换机等网络设备来获取镜像流量，具有局限性的问题；本发明包括以下步骤：在提供网络流量的服务器上抓取网络流量，以文件的形式保存；将流量文件发送到数据安全监控平台所在服务器的指定目录下；在数据安全监控平台上，读取配置文件，获取流量文件的配置信息；定时扫描指定目录，筛选出指定文件格式的文件，将所有未处理文件按照指定文件排序方式进行排序；按照排序，依次读取文件信息、解析文件、获取网络报文包；解析网络流量，输出格式化数据，存入数据库；将格式化数据经过算法转换，输出分析结果，存入数据库，供web前端展示使用。解决特殊化场景中网络流量的采集问题。

技术领域

本发明涉及一种流量分析领域，尤其涉及一种网络流量采集方法。

背景技术

随着互联网应用的日益普及，网络安全也变得越来越重要。在网络运营与维护的过程中，为了便于业务监测和故障定位，网络管理员时常要获取设备上的业务报文进行分析。

由于旁路监控模式具有部署灵活方便，且不会影响现有网络的优点，网络监控主要采用旁路监控模式。而旁路监控模式主要通过交换机等网络设备的“端口镜像”功能来实现监控，在此模式下，数据安全监控平台只需要连接到交换机指定的镜像端口，就可以进行网络流量的采集、解析、分析。例如，一种在中国专利文献上公开的“用于控制交换机以捕获和监视网络流量的系统和方法”，其公告号CN107431642B，包括在耦合到转发网络的终端主机之间转发网络流量的交换机。分析网络可以连接到转发网络。控制器可以控制转发网络中的交换机以实现期望的转发路径。控制器可以配置交换机以形成交换机端口组。控制器可以识别连接到分析网络的端口组。控制器可以选择被转发的分组的子集，且可以控制所选交换机将所述子集复制到识别出的端口组。控制器可以在交换机和端口组之间建立网络隧道。

在实际使用过程中，镜像流量是从核心交换机等上层设备的端口镜像出来的，流量巨大，对监控平台的采集能力要求非常高，势必会提高投入成本。同时，基于业务需求与安全考虑，运营商不希望将其所有流量都暴露给第三方，只针对待监控业务，提供对应的业务流量做采集分析。运营商会将确定业务的流量发往虚拟机环境，数据安全监控平台只能从虚拟机上获取流量，无法直接获取镜像流量。另外，在存有异常流量的文件时，运营商希望能够对异常包进行分析。

现有方法是通过交换机等网络设备来获取镜像流量，由于该方法具有一定的局限性，导致其应用场景受限。

发明内容

本发明主要解决现有技术通过交换机等网络设备来获取镜像流量，具有一定的局限性，应用场景受限的问题；提供一种网络流量采集方法，解决特殊化场景中网络流量的采集问题。

本发明的上述技术问题主要是通过下述技术方案得以解决的：

一种网络流量采集方法，其特征在于，包括以下步骤：

S1：在提供网络流量的服务器上抓取网络流量，以文件的形式保存为流量文件；

S2：将流量文件发送到数据安全监控平台所在服务器的指定目录下；

S3：在数据安全监控平台上，读取配置文件，获取流量文件的配置信息；配置信息包括流量文件所在目录、目录搜索层级、文件格式和文件排序方式；

S4：网络流量采集的扫描模块周期性地定时扫描指定目录，筛选出指定文件格式的文件，将所有未处理文件按照指定文件排序方式进行排序；

S5：网络流量采集的处理模块按照文件的排序顺序，依次读取文件信息、解析文件、获取网络报文包；

S6：网络协议解析程序解析网络流量，输出格式化数据，存入数据库；

S7：数据分析模块将格式化数据经过算法转换，输出分析结果，存入数据库，供web前端展示使用。