[发明专利]一种基于DPDK技术开发的高性能数据采集引擎方法

权利要求书

1.一种基于DPDK技术开发的高性能数据采集引擎方法，其特征在于，其实施步骤如下：

(1)基于DPDK技术开发的高性能数据采集引擎平台；

(2)基于Soft-ASIC的多桥性能倍增技术；

(3)数据工具集研发：包括数据采集工具集研发和数据存储工具集研发。

2.根据权利要求1所述的一种基于DPDK技术开发的高性能数据采集引擎方法，其特征在于，所述步骤(1)中的基于DPDK技术开发的高性能数据采集引擎平台是基于Linux+DPDK开发的高性能业务支撑平台并通过DCE技术实现数据包高效采集实现，DPDK-based DCE引擎实现了基于Linux系统的高速IP数据包捕获的基础架构，高性能数据采集、分析和处理系统基于Linux和DPDK-based DCE架构建立，在该架构基础上通过开发专用的用户态内存管理、缓存管理、定时器、读写锁、线程锁、核间通讯等构成专用的网络加速平台，实现最佳性能。

3.根据权利要求1所述的一种基于DPDK技术开发的高性能数据采集引擎方法，其特征在于，所述步骤(1)中的基于DPDK技术开发的高性能数据采集引擎平台包括用户态业务精简运行时环境的实现，主要是精简运行时环境和业务应用加速两大模块，精简运行时环境主要实现了业务应用运行时所需的进程管理、内存管理、进程间通讯等内核需要做的工作，重新构建了业务应用运行时使用的内存、虚拟页、缓冲、调度、中断、信号、定时器、锁机制等。

4.根据权利要求1所述的一种基于DPDK技术开发的高性能数据采集引擎方法，其特征在于，所述步骤(1)中的基于DPDK技术开发的高性能数据采集引擎平台基于业务需要的CPU核分配机制的实现，通用的SMP核分配方法是让所有内核都运行同一个操作系统的拷贝。由于操作系统每时每刻都监控着系统的运行状态，因此可以在多核之间分配资源，而无需应用开发人员的干预，高性能数据采集引擎平台充分利用DPDK-based DCE^TM调度器的CPU亲和性(affinity)特点。将系统进行层次化、模块化设计，细分模块实现并将特定业务实现均分到各个CPU核心上，从而实现CPU资源的最大化利用。

5.根据权利要求4所述的一种基于DPDK技术开发的高性能数据采集引擎方法，其特征在于，所述步骤(1)中的基于DPDK技术开发的高性能数据采集引擎平台对于分平面设计好数据流的转发和CPU核间通信的高性能保证需要一个核性能分配架构设计。

6.根据权利要求4所述的一种基于DPDK技术开发的高性能数据采集引擎方法，其特征在于，所述步骤(1)中的于DPDK技术开发的高性能数据采集引擎平台需将高速数据捕获和业务功能模块运行环境相关的应用移植到用户空间，形成精简运行时环境，通过截取系统调用的方式使得应用程序能够使用Linux内核之外的环境，需要一个进线程模型设计方案，并能充分考虑到框架内各事件执行的集中管理能力。

7.根据权利要求6所述的一种基于DPDK技术开发的高性能数据采集引擎方法，其特征在于，所述进线程模设计方案对于进程都需处理管理和控制消息，可采用统一的事件处理机制，对于这种异步消息的处理，可使用Reactor模式，Reactor是一种事件驱动机制，Reactor逆置了事件处理流程，应用程序需要提供相应的接口并注册到Reactor上，如果相应的事件发生(消息到达)，Reactor将主动调用应用程序注册的接口(回调函数)。

8.根据权利要求6所述的一种基于DPDK技术开发的高性能数据采集引擎方法，其特征在于，所述步骤(2)中的基于Soft-ASIC的多桥性能倍增技术在展开多桥结构下，利用分核技术配合“Soft-ASIC”特有方案，完成多桥接入数据流量并发时，单桥对数据流量的分析能力不下降的等技术的研究，实现的多桥性能倍增目标。