[发明专利]网络流量元数据采集技术算法

说明书

本发明公开了一种网络流量元数据采集技术算法，包括以下步骤：S1、构建网络流量采集物理架构；S2、划分系统功能并定义类；S3、监测测网络流量信息并采集；S4、数据分片；S5、数据重组，将传输过程中分成的数据片段按原先顺序重新连接，并恢复至原先数据模样；S6、数据包发送，通过设置网络数据包过滤器，将数据包一些数据包过滤掉后再发往应用程序，同时统计网络通信过程中的信息；本发明通过将数据进行分类处理，可提高数据传输速度及准确性，同时将数据分片再进行重组，既能够有效对数据进行监测分析，防止不良数据危害网络，且数据分片进行传输还能够提高传输效率，以增加网络资源利用率，有效提高网络服务质量。

技术领域

本发明涉及网络数据采集相关技术领域，尤其涉及网络流量元数据采集技术算法。

背景技术

网络数据在传输过程中，数据需要从一个客户端发送到另一个客户端，在此过程中，数据需要多个交换机、防火墙、网页服务器、应用服务器等中间介质。

目前网络流量元数据在传输过程中，既需要能够对数据进行准确的采集，同时也需要对数据进行监测分析，以防止不良数据破坏网络。但是由于数据经过大量防火墙、交换机与各服务器系统，需要多次监测分析，因此数据采集效率低下，同时网络数据包传输速度缓慢导致网络资源利用不足。据此，本申请文件提出一种网络流量元数据采集技术算法。

发明内容

本发明的目的是为了解决现有技术中存在的缺点，而提出的网络流量元数据采集技术算法。

为了实现上述目的，本发明采用了如下技术方案：

一种网络流量元数据采集技术算法，包括以下步骤：

S1、构建网络流量采集物理架构，通过构建带有数据分析系统的物理架构，并可将从数据库取出的数据分析完毕后，将分析结果存回数据库；

S2、划分系统功能并定义类，通过合理设计系统功能，提高系统扩展性，同时将数据进行分类并调整各个类之间的关系；

S3、监测测网络流量信息并采集，基于SNMP协议，使用相关流量采集工具对网络流量元数据采集；

S4、数据分片，将采集到的流量元数据分成多个片段进行传输，且在各片段均设有报头，同时数据片设置较大保证能够被物理帧封装；

S5、数据重组，将传输过程中分成的数据片段按原先顺序重新连接，并恢复至原先数据模样；

S6、数据包发送，通过设置网络数据包过滤器，将数据包一些数据包过滤掉后再发往应用程序，同时统计网络通信过程中的信息。

优选地，所述步骤S1中，数据分析系统包括配置模块、报警模块、安全模块、计费模块与故障分析模块。

优选地，所述步骤S3中，数据采集应用主动探测法，通过相关工具发送UDP包，获知网络延时丢包等信息。

优选地，所述步骤S4中，数据片段长度需满足物理网MTU帧能封装，且在满足MTU值前提下，各数据片段长度尽量设置较大，以提高传输速度。

优选地，所述步骤S5中，在数据到达信宿机后再重组，以降低数据间隔、提高数据传输速度。

优选地，所述步骤S6中，数据包过滤器采用内核级过滤器，且将数据包送往应用程序时进行用户缓冲，再进行数据包注入。

本发明具有以下有益效果：

通过将数据进行分类处理，可提高数据传输速度及准确性，同时将数据分片再进行重组，既能够有效对数据进行监测分析，防止不良数据危害网络，且数据分片进行传输还能够提高传输效率，以增加网络资源利用率，有效提高网络服务质量。

附图说明

图1为本发明提出的网络流量元数据采集技术算法的方法流程示意图；