[发明专利]一种基于DPDK的网络数据采集处理系统及其方法

说明书

本发明公开了一种基于DPDK的网络数据采集处理系统及其方法，涉及海量数据处理领域。本系统是：进程管理模块分别与数据采集分发模块、定时器模块和状态监测模块交互，实现管理的控制；状态监测模块分别与数据采集分发模块和内存管理模块交互，实现信息的收集和记录；内存管理模块分别与数据采集分发模块和TCP/IP协议处理模块交互，控制工作时的内存使用；数据采集分发模块、TCP/IP协议处理模块和定时器管理模块依次交互，实现对原始网络数据包的采集、转发和根据TCP/IP协议进行初步的还原。本发明对影响数据处理性能的因素进行针对性优化，提高程序的处理效率，同时对于不同的业务需求可以快速地进行复用，降低开发难度减少开发周期。

技术领域

本发明涉及海量数据处理领域，尤其涉及一种基于DPDK的网络数据采集处理系统及其方法。

背景技术

海量数据处理平台通常对系统的处理性能要求较高，需要快速高效地的处理网络数据。随着技术的发展，硬件的处理性能越来越高，多核平台以及大容量内存等资源极大地提高到了海量数据处理的效率，而系统处理的瓶颈逐渐向处理软件倾斜。

从软件处理的角度，系统的处理性能往往随着处理流量的增大以及处理流程的增多导致性能快速降低。导致性能降低的原因很多，从系统调用和线程切换开销的角度，其原因包含如下几点：①多线程处理性能并非与线程数量成线性关系，同时线程间高频率切换所带来的开销会导致处理性能的降低；②系统中断0x80以及用户态和内核态的切换存在一定的开销，频繁的系统调用带来的影响尤其明显；③多线程之间进行频繁交互，海量消息收发策略的不完善导致性能降低；④未充分利用多核平台的CPU资源。而故针对这些瓶颈点，结合DPDK技术提供的应用面驱动，重点解决了操作系统在内核态和用户态的切换问题，以实现海量数据的高效处理。

发明内容

本发明的目的就在于针对海量数据处理领域，通过使用DPDK技术对影响系统处理性能的主要点如系统调用、线程交互及资源利用等多个方面在用户层面进行优化，提供一种基于DPDK的网络数据采集处理系统及其方法。

本发明的目的技术方案是：

通过进程管理模块合理组织各进程及线程间关系，充分利用CPU逻辑核性能以及DPDK所提供的高效的数据采集转发技术，将具体的TCP/IP协议处理模块分散到多个接收数据的子进程中，其共享内存池和定时器资源，完成对各子进程接收到的数据的整理，再转发给后续系统。同时还需要充分利用内存管理模块提供的DPDK内存管理模式，尽可能减少用户面与内核的交互，提高用户面对与系统资源的利用效率。

具体地说：

一、基于DPDK的网络数据采集处理系统（简称系统）

本系统包括进程管理模块、数据采集分发模块、TCP/IP协议处理模块、内存管理模块、定时器管理模块和状态监测模块；

其交互关系是：

进程管理模块分别与数据采集分发模块、定时器模块和状态监测模块交互，实现管理的控制；

状态监测模块分别与数据采集分发模块和内存管理模块交互，实现信息的收集和记录；

内存管理模块分别与数据采集分发模块和TCP/IP协议处理模块交互，控制工作时的内存使用；

数据采集分发模块、TCP/IP协议处理模块和定时器管理模块依次交互，实现对原始网络数据包的采集、转发和根据TCP/IP协议进行初步的还原。

二、基于DPDK的网络数据采集处理方法（简称方法）

本方法包括下列步骤：

①首先要选择合适环境的参数设置，在进程管理模块（10）中进行调整使各进程能够按照功能需要启动，同时在主进程中也要按照系统运行需求合理对DPDK平台环境进行初始化；