[发明专利]一种基于流处理的网络流量数据解析方法和装置

权利要求书

1.一种基于流处理的网络流量数据解析方法，其特征在于，应用于数据处理系统中，所述数据处理系统中预架构有多个流量数据采集节点和多个处理节点，方法包括：从各采集节点获取信令中转设备转接的原始网络流量数据；

依据协议匹配规则对原始网络流量数据中的原始报文进行协议匹配；

对协议匹配后的原始报文标注分类标识；

依据所述分类标识和负载均衡原则为加分类标识后的原始报文确定对应的目标处理节点，将协议匹配后的原始报文发送至所述目标处理节点；

所述所有处理节点采用分布式流数据处理方式，对收到的报文依据业务匹配规则进行业务匹配，将匹配出的数据重组为业务XDR数据输出。

2.根据权利要求1所述的网络流量数据解析方法，其特征在于，从各采集节点获取信令中转设备转接的原始网络流量数据之前，还包括：

获取协议匹配规则、业务匹配规则；

将所述协议匹配规则分发给各采集节点，将所述业务匹配规则分发给各处理节点。

3.根据权利要求2所述的网络流量数据解析方法，其特征在于，将所述协议匹配规则分发给各采集节点之前，还包括：对所述匹配规则进行整合，去除所述匹配规则中的冗余规则，并分别形成协议匹配判断树、业务匹配判断树，形成简化的匹配规则。

4.根据权利要求2或3所述的网络流量数据解析方法，其特征在于，所述的协议匹配规则、业务匹配规则用正则表达式表述并存储于配置文件中，或者通过人机交互界面获取用户输入的协议特征、业务需求，然后动态生成用正则表达式表述的协议匹配规则、业务匹配规则。

5.根据权利要求4所述的网络流量数据解析方法，其特征在于，所述协议特征至少包括：IP地址、端口号和协议类型；所述业务需求至少包括：IP地址、端口号和业务类型。

6.根据权利要求1所述的网络流量数据解析方法，其特征在于，

对协议匹配后的原始报文标注分类标识；依据所述标识和负载均衡原则为所述加标识后的原始报文确定对应的目标处理节点，将匹配后的原始报文发送至对应的目标处理节点；

进一步包括：依据原始报文内容之间的关联性，对相互关联的原始报文配置相同的ID标识，将相同ID标识的报文发送至相同的目标处理节点。

7.根据权利要求6所述的网络流量数据解析方法，其特征在于，所述存在关联性的原始报文指的是：具有相同信源和信宿的数据报文、同一时间段内发出的数据报文、具有相同端口号的数据报文。

8.根据权利要求1所述的网络流量数据解析方法，其特征在于，还包括将所述输出的业务XDR数据进行分布式文件存储。

9.一种基于流处理的网络流量数据解析系统，其特征在于，包括：采集分发子系统和业务匹配子系统；所述采集分发子系统包括架构多个流量数据采集节点，每个采集节点包括如下模块：

采集模块，用于获取信令中转设备转接的原始网络流量数据；

协议匹配模块，依据协议匹配规则对采集模块获取到的原始网络流量数据中的原始报文进行协议匹配；

标识模块，对协议匹配后的原始报文标注分类标识；

分发模块，用于依据所述分类标识和负载均衡原则为加分类标识后的原始报文确定对应的目标处理节点，将协议匹配后的原始报文发送至所述目标处理节点；

所述业务匹配子系统包括多个处理节点，共同采用分布式流数据处理方式工作，每个处理节点包括一个匹配引擎，所述匹配引擎依据业务匹配规则对收到的报文进行业务匹配，将匹配出的数据重组为业务XDR数据输出。