[发明专利]基于X86板卡的网络数据平台及数据采集过滤分析方法

权利要求书

1.一种基于X86板卡的网络数据平台，板卡的外部接口包括四个10GE的光口、两个RG45的网口、一个console调试接口、HDMI接入接口、两个USB口、背板具备40G网口，一个千兆网口，X86板卡系统启动可接入显示器及鼠标键盘，查看系统启动状态，其特征在于：x86板卡的背板40GE与交换板的背板40GE相连，提供数据流量通路，x86板卡的前面板的10GE光口与线路卡的后面板10GE光口互联，用于底数轮询采集功能，设备的控制接口是实现背板与以太网互联，将所有板卡的背板千兆网口互通，实现控制指令交互；按功能模块划分，分为数据采集模块、规则处理模块、数据分析模块，连接为数据采集模块与数据分析模块单向连接，数据采集模块、规则命中处理模块、数据分析模块依次连接，其中规则处理模块内为用户数据规则配置与筛选单元、规则管理单元、规则过滤命中单元依次连接。

2.采用权利要求1所述的基于X86板卡的网络数据平台的数据采集过滤分析方法，采用x86板卡的操作系统为centos7.4的linux平台，其特征在于：利用X86计算刀片的多核大内存高主频处理性能的基于DPDK高速采集Hyperscan高性能过滤引擎和nDPI深度包检测分析的数据采集过滤分析方法，包括一、数据采集，二、规则命中处理，三、数据分析三方面；

一、数据采集 ，

1、DPDK框架初始化，将需要使用的核id和网卡端口号作为输入启动参数，并配置一个网卡端口的数据接收由哪个核来入队，数据处理由哪个核来出队进行分支判断处理，配置分析处理核id，配置网卡端口的底数轮询使能位，配置混杂模式收包；

2、核参数解析，应用程序初始化DPDK框架并解析核id的分配情况，分别启动每个核线程，为每个核线程分配rx队列、无锁ring环空间，申请足够的大页进行缓存；

3、五个数据接收核线程启动，并分别接收来自背板40GE和前面板10GE的数据，进行入队操作；

4、五个数据处理核线程启动，并准备数据出队操作，出队读取到要处理的数据时，会根据核线程的角色来走不同的处理流程，若为采集核线程，则进入数据落盘采集模块进行处理，若不是，则进入规则命中处理模块进行处理；

二、规则命中处理，由新建规则、删除规则、规则过滤命中组成，

㈠、新建规则，

1、来自主控的规则新建下发控制；

2、用户下发新建规则，用户通过BS控制网管下发相应的关键字或正则表达式规则，该规则我们根据OSI的7层协议栈定义为L4层规则，而用户同时可针对需要过滤的目标数据设定L2 层和L3层规则，即L2层为链路层规则，L3层为IP层规则，用户根据应用场景设定好规则下发给主控，主控按规则层级下发给各个板卡；

3、规则解析，按照命中原理，将一条完整的规则分为三部分配置进行入hyperscan的规则数据库database中；

4、第一部分将L2层和L3层规则ID组合成固定位置字符串规则写入hyperscan规则数据库，获取一个规则id号；

5、第二部分将具体L4层的关键字或正则表达式规则写入hyperscan规则数据库中并获取第二个规则id；

6、第三部分需要将前两个规则的规则id做一个“与”操作，并设置命中返回，新建规则结束；

㈡、删除规则，

1、用户在设备的BS网管控制界面进行相应删除规则操作；

2、控制指令下发到主控后，主控下发到x86板卡，x86板卡应用程序解析删除规则内容，比对本地内存中规则列表；

3、扫描需要删除的规则ID，将对应的规则进行删除；

4、同时将删除之后的规则库重新编译到hyperscan的规则数据库database中，达到删除规则效果；

㈢、规则过滤命中，

1、数据流送入hyperscan的匹配搜索接口hs_scan中，进行规则过滤命中匹配，若该数据包符合规则数据库中的规则，则会命中调用回调函数，返回命中包内容；

2、命中规则id，根据命中规则id和数据包中携带的L2层和L3层规则ID来查询该包的落盘处理模式，3、将数据dump存储到指定的文件目录和文件中；

三、数据分析，

1、依托于DPDK框架下的核线程机制，指定分析核线程id；

2、启用分析线程来对分析处理数据目录进行扫描，目录扫描支持多级嵌套目录扫描，扫描目录下获取当前未分析的pcap包文件，调用包读取接口进行每个以太网包的内容读取操作，

3、进入包处理的回调函数，首先进行包结构的分析，针对ptn信号的结构特征，分析外层mac头和type类型，根据type类型识别下一层是否包含Vlan结构，若包含则解析Vlan的4个字节，并获取外层VlanID，若没有则直接是mpls标签结构，该mpls标签结构4个字节为一个单元，可能有多层4字节结构，因此通过mpls标签的栈顶和栈底bit位来识别最后一个mpls标签结构，每个mpls标签中都解析对应的标签值来，最后一个mpls标签结构如果携带的标签值是14，则是OAM的控制帧，则按照OAM控制帧结构解析lsrid和lspid对应的字段值，若不是OAM控制帧则mpls标签之后携带的是内层的mac头，进行解析srcMac源mac和dstMac目的Mac之后，依然通过type值来判定是否有Vlan这一层，若有则解析内层VlanID，根据type类型值再判断携带的以太网数据是ARP包还是CDP包还是IP包，区分具体包类型之后，ARP包则会根据ARP相关协议标准解析出其内部携带的发送者接收者的IP和Mac，CDP包则会根据CDP相关协议标准解析TLV变长格式来获取每个类型的值，如设备ID、地址、端口ID、平台等信息，而IP包则会携带IP五元组信息，即源IP、目的IP、源端口、目的端口，根据IP包的结构特征将这些信息解析出来；

4、以太网数据包若为OAM、CDP、ARP、IP包中的一种，则进行相应解析操作，并将解析内容入库到关系数据库中进行存储并方便查询展示；

5、使用nDPI深度包检测进行数据中业务协议识别和统计，获取应用层协议信息以及关键负载信息获取用户行为，并将分析结果插入数据库中进行存储。