[发明专利]一种基于流处理的网络流量数据解析方法和装置

说明书

本申请提供一种基于流处理的网络流量数据解析方法和系统，所述方法包括：获取信令中转设备转接的原始网络流量数据；对原始网络流量数据中的原始报文进行协议匹配；对协议匹配后的原始报文标注报文分发的分类标识；依据所述分类标识将协议规则匹配后的原始报文发送至所述目标处理节点；所述目标处理节点采用分布式计算的流数据处理方式，依据对所述原始报文进行业务规则匹配，实时生成XDR数据。通过本申请上述实施例公开的技术方案可见，本申请满足了运营商通信设备网络中实时分析大规模流量数据的需求，极大地提升了分析效率和速度。

技术领域

本发明涉及通信技术领域，具体涉及一种基于流处理的网络流量数据分析的方法和装置。

背景技术

随着网络技术的不断发展，网络提供的应用和业务种类得到了极大的丰富。与此同时，多样化的业务和不断增加的用户数也使运营商网络变得愈加复杂，这无疑加大了通信设备的运维难度，也给网络服务提供商带来了新的机遇与挑战。

对通信设备发出的大规模数据进行分析能够帮助运营商精准掌控网络应用的信息，并基于掌控的信息完成高效的网络运维管理，从而支撑信息安全、用户管理，故障监控等多方面业务需求。传统网络流量数据分析方法主要包括对传输协议端口、信息特征内容、流量特征的分析，上述分析方法尚不能满足流量分类和深度分析的多样化功能需求。而DPI(Deep Packet Inspection，深度包检测)技术基于二层到七层网络协议，能够深入读取数据包载荷，提供更为细致和具体的信息。基于DPI技术的分析设备能够采集原始的数据流量信息，生成XDR(External Data Representation，外部数据表示)格式的数据。运营商能够通过DPI设备生成的XDR数据精确感知网络状况，从而实现精细化、差异化运维的目的。

然而，由于网络中的业务、用户及数据的多样性，网络中的数据包特征也会不断的改变，深度包检测的技术实现也变得更加困难。网络中数据包的二层到四层的信息相对固定，处理起来比较方便。但四层以上的信息既无标准的定义，也经常变化，需要设计一套合理而有效的方案对这部分信息进行筛选、归类和分析。但是，现有的DPI设备灵活性较差，软件可扩展能力差，导致输出的XDR数据当中丢失了很多信息。传统采用解码、单接口合成、回填、多接口合成的步骤在需要增加新的业务逻辑时比较麻烦，因此需要设计更为灵活的方案以生成个性化XDR信息。此外，DPI设备需要对大量的数据包进行解析，而伴随着网络流量的爆炸式增涨，处理速度已成为基于DPI流量深度分析的瓶颈，因此需要引入大数据处理技术来解决这一问题。大数据时代的到来对于数据的实时性需求更为迫切，对于数据可靠性要求更高。

发明内容

鉴于此，本发明提供一种基于流处理的网络流量数据解析方法及装置，采用分布式流处理模式提高数据的处理速度，满足通信设备监测场景中实时处理流数据的需求。

为实现上述目的，本发明实施例提供如下技术方案：

一种基于流处理的网络流量数据解析方法，应用于数据处理系统中，所述数据处理系统中预架构有多个流量数据采集节点和多个处理节点，方法包括：

从各采集节点获取信令中转设备转接的原始网络流量数据；

依据协议匹配规则对原始网络流量数据中的原始报文进行协议匹配；

对协议匹配后的原始报文标注分类标识；

依据所述分类标识和负载均衡原则为加分类标识后的原始报文确定对应的目标处理节点，将协议匹配后的原始报文发送至所述目标处理节点；

所述所有处理节点采用分布式流数据处理方式，对收到的报文依据业务匹配规则进行业务匹配，将匹配出的数据重组为业务XDR数据输出。

优选的，上述网络流量数据解析方法中，所述从各采集节点获取信令中转设备转接的原始网络流量数据之前，还包括：获取协议匹配规则、业务匹配规则；将所述协议匹配规则分发给各采集节点，将所述业务匹配规则分发给各处理节点。