[发明专利]用于高速数据采集系统的以太网数据流记录方法

权利要求书

1.一种用于高速数据采集系统的以太网数据流记录方法，所述高速数据采集系统由Linux操作系统、多块万兆网卡及高速NVMe固态硬盘构建，其特征在于，该方法包括：

步骤S100，Linux操作系统启动后，隔离出设定数量的CPU核心；

步骤S200，通过sysfs文件系统卸载所述Linux操作系统的内核态网卡驱动，并创建hugepage内存池；对每一个万兆网卡，通过hugetlbfs文件系统分配其对应的数据接收缓存池及无锁FIFO缓存，并基于其对应的PCIE地址，通过sysfs文件系统对各万兆网卡PCIE寄存器进行初始化设置，使其进入采集状态；

步骤S300，创建多个工作线程并绑定至所述CPU核心，以用户态轮询的驱动方式对各万兆网卡采集的数据包进行连续接收及磁盘记录；所述工作线程包括数据接收线程和磁盘记录线程；

以用户态轮询的驱动方式对各万兆网卡采集的数据包进行连续接收，其方法为：

步骤S310，各万兆网卡根据RX中DMA描述单元对应地址将采集的数据包通过PCIE总线传输至系统内存，并向前移动RDH，直至RX当前位置的DMA描述单元的STAT_DD标志位为1；

步骤S320，获取所述DMA描述单元对应数据包的虚拟地址，存入指针数组；并从hugepage内存池中申请新的数据包接收空间进行初始化，将新缓存的物理地址写入所述DMA描述单元；

步骤S330，循环执行步骤S310-步骤S320，直至达到设定的单次最大接收数量，当达到最大接收数量，执行步骤S340；

步骤S340，向前移动RDT，释放各万兆网卡的存储空间，并对所述指针数组对应数据包进行处理，将处理结果拷贝至无锁FIFO，拷贝完成后释放指针数组所对应的内存池空间；所述处理包括完整性检测、包头过滤；其中，RX为复位数据接收环，RDH为RX的头指针，RDT为RX的尾指针。

2.根据权利要求1所述的用于高速数据采集系统的以太网数据流记录方法，其特征在于，所述隔离出的CPU核心其至少保留Core0用于Linux操作系统内核线程调度。

3.根据权利要求2所述的用于高速数据采集系统的以太网数据流记录方法，其特征在于，步骤S200中“通过sysfs文件系统卸载所述Linux操作系统内核态网卡驱动，并创建hugepage内存池”，其方法为，通过sysfs文件系统下pci设备驱动目录中的unbind节点进行卸载，卸载完成之后在nr_hugepages节点设置hugepages数量，创建hugepage内存池。

4.根据权利要求3所述的用于高速数据采集系统的以太网数据流记录方法，其特征在于，步骤S200中“通过hugetlbfs文件系统分配其对应的数据接收缓存池及无锁FIFO缓存”，其方法为：使用mmap在hugetlbfs文件系统中分配各万兆网卡数据接收缓存池和无锁FIFO缓存空间。

5.根据权利要求3所述的用于高速数据采集系统的以太网数据流记录方法，其特征在于，步骤S200中“基于其对应的PCIE地址，通过sysfs文件系统对各万兆网卡PCIE寄存器进行初始化设置”其方法为：使用mmap对sysfs文件系统下pci设备资源节点resource0进行映射，并在该映射对应的映射空间中对相关万兆网卡PCIE寄存器偏移地址内容进行读写；所述读写包括关闭万兆网卡中断、复位万兆网卡主控芯片、二次关闭中断、等待DMA初始化标志完成、复位数据接收环RX头指针RDH和尾指针RDT、填充各DMA描述单元物理地址、开启巨帧和混杂模式标志位。

6.根据权利要求5所述的用于高速数据采集系统的以太网数据流记录方法，其特征在于，所述磁盘记录其记录方法为：将无锁FIFO中的数据包取出，把单一连续数据流分为多个文件写入磁盘；当数据文件大小超过设定阈值时，关闭当前文件并创建新的数据文件进行写入。