[发明专利]全流量回溯分析系统的内存优化方法和设备

说明书

本发明的实施例提供一种全流量回溯分析系统的内存优化方法和设备。所述方法包括内存管理线程响应于系统启动指令，为每个CPU申请报文存储单元，将报文存储单元初始化分配到内存池中；当捕获线程接收到报文，需要申请报文存储单元时，根据报文的来源，从捕获线程对应的内存池中申请报文存储单元的地址使用；当捕获线程需要释放报文存储单元时，若报文存储单元所属于捕获线程的内存池，则将报文存储单元分配到内存池；当待释放的报文存储单元的数量达到数量阈值时，将待释放的报文存储单元发送至内存管理线程，并由内存管理线程释放至高负载CPU对应的内存池中。以此方式，能够使缓存报文能够被合理利用，保证了高健壮性和高并发性。

技术领域

本发明一般涉及网络监测领域，并且更具体地，涉及一种全流量回溯分析系统的内存优化方法和设备。

背景技术

IT技术风起云涌，技术的变革正在不断加速，设备所产生海量数据，网络设备接口报文流量已经达到每秒10Gbps、40Gbps甚至更高，如今全流量回溯分析系统不仅仅要捕获报文，还需要对报文进行存储，更需要进行流量分析以及威胁检测，这对传统运维和安全均产生了巨大挑战，报文全流量回溯分析系统的性能成为每个厂商重中之重。

全流量回溯分析系统具有对报文进行捕获、分析和存储的功能，整个系统中最基础的元素就是报文存储单元mbuf（memory buffer），由于涉及到分析和存储，这些报文资源如果释放不及时很容易导致资源枯竭。报文的申请方式如果设置为随用随动态分配，使用完再释放，因为分配/释放消耗性能，这种机制会导致整体处理非常慢。如果报文使用内存池机制申请，那么预先需要申请固定数量的报文。因为全流量存储回溯系统都有基本的流量分析威胁检测的功能，在报文解析过程中一定会涉及到流量缓存过程，尤其是遇到以消耗资源为主的攻击时，这部分报文如果不及时释放很容易导致内存池枯竭，初始化申请过多又会造成内存申请浪费，这部分设计的好坏直接影响整体系统的健壮性和高性能。

报文捕获存储系统是使用镜像或者分光的方式来收集报文，由于网卡收包时未必会将同一会话的报文分配给同一线程，行业的通用设计方法是在多核系统中通常是分配N个线程进行捕获，再使用M个线程进行分析，最后用X个线程来存储报文，这种设计方式导致报文处理过程造成大量缓存丢失，从而影响性能。全流量回溯分析系统中性能最好的场景就是worker模式，即捕获和分析在同一线程以减少缓存丢失和线程切换导致的性能开销。又因为分析线程通常是以流为单位，多核系统中最好的场景即报文捕获的同时即能保证同一流的左右两个方向被同一捕获线程收到，这样才能使多核处理时高并发无流这种竞争资源，从而提升性能。而这种设计通常是硬件上通过配置来使同一流的两个方向报文被同一线程收到，这样做的弊端是经常会出现负载不均衡的场景，即不同的捕获线程处理的报文流量是不均衡的。

而对于worker模式，可以将报文的内存池设置为每核资源，当前通用的设计方案是将每核报文内存池资源都设置为相同数量，但是当出现流量负载不均衡的现象时，内存池的设计方式很容易导致报文浪费。

发明内容

根据本发明的实施例，提供了一种全流量回溯分析系统的内存优化方案。本方案能够使缓存报文能够被合理利用，保证了高健壮性和高并发性。

在本发明的第一方面，提供了一种全流量回溯分析系统的内存优化方法。该方法包括：

内存管理线程响应于系统启动指令，为每个CPU申请报文存储单元，并通过所述CPU对应的捕获线程将所述报文存储单元初始化分配到对应的内存池中；

当捕获线程接收到报文，需要申请报文存储单元时，对所述报文存储单元的所属关系进行标记；根据所述报文的来源，从所述捕获线程对应的内存池中申请报文存储单元的地址使用；

当捕获线程需要释放报文存储单元时，若所述报文存储单元所属于所述捕获线程的内存池，则将所述报文存储单元分配到所述内存池；否则，当待释放的报文存储单元的数量达到预设的第一数量阈值时，将待释放的报文存储单元发送至所述内存管理线程，并由所述内存管理线程释放至高负载CPU对应的内存池中。