[发明专利]一种会话报文分析方法、装置及存储介质

说明书

本公开提供了一种会话报文分析方法、装置及存储介质，用于解决将部分分析公开均衡到采集器集群的技术问题。本公开实施例通过在采集器集群中部署Kafka集群，将会话报文从报文流中分离出来，将同一会话的报文导入到同一个采集器中进行分析处理，再将分析结果传递给分析器进行进一步处理。通过该方案可以将分析器的部分分析功能卸载到采集器上，充分利用采集器的计算资源，从而提高整个报文分析系统的性能。

技术领域

本公开涉及通信及数据分析技术领域，尤其涉及一种会话报文分析方法、装置及存储介质。

背景技术

远距离测量技术，例如Telemetry技术，是一项远程的从物理设备或虚拟设备上高速采集数据的技术，在网络运维中，各网络设备，例如交换机、路由器等，通过远距离测量技术上报流量数据(如基于远程封装交换机端口分析Encapsulated Remote Switch PortAnalyzer，ERSPAN协议镜像的TCP报文等)和性能Metrics数据(如基于谷歌远程过程调用Google Remote Procedure Call，GRPC协议上报的接口流量等)。

图1为远距离测量技术的组网原理示意图，采集器集群负责收集网络设备上报的通过远距离测量技术，例如Telemetry技术，上报的报文，并将收到的报文打包发送给分析器进行分析。分析器集群接收来自采集器上送的数据，并对不同的数据类型执行相应的分析处理，例如：计算报文的转发路径、转发时延、链路时延等，完成应用交互关系分析，实现应用和网络路径的关联；基于AI算法对部分性能Metrics数据建立动态基线并进行异常检测；预测光模块的故障概率等等，并进行统计分析、呈现。

在TCP流分析中，一条TCP连接的建立需要经过三次握手，连接关闭需要经过四次挥手。为了监控网络中应用之间TCP的建链拆链，需要将TCP协议中的同步SYN、结束FIN、复位RST等报文镜像到采集器上。

可以看出，大量分析工作在分析器上运行(如获取TCP流的报文转发路径、计算报文转发时延、分析TCP会话异常、进行应用分析等)，容易形成性能瓶颈。而采集器仅仅只是打包转发，其处理性能被大量浪费。

发明内容

有鉴于此，本公开提供一种会话报文分析方法、装置及存储介质，用于解决分析器负载过重，采集器资源利用率不高的技术问题。

基于本公开一实施例，本公开提供了一种会话报文分析方法，该方法应用于配置有Kafka集群的采集器集群中，所述方法包括：

采集器集群中的采集器作为Kafka集群的生产者，在接收到会话报文时，将会话封装成Kafka消息，并以重定向主题发送给采集器上的Kafka集群的代理，所述Kafka消息的关键字由所述会话报文的五元组生成；

Kafka集群中的代理接收到重定向主题的Kafka消息时，基于Kafka消息中的关键字与分区的映射关系，将Kafka消息发送到与关键字对应的分区中，以使属于同一会话的报文被传送给同一采集器；

采集器作为消费者从指定分区中获取Kafka消息，对其中存储的属于同一会话的会话报文进行分析，并将分析结果传送给分析器集群。

进一步地，在本公开一实施例中，所述方法还包括：

在所述采集器集群与分析器集群之间还布置有第二Kafka集群；

所述采集器接收到报文后根据报文头部的类型字段鉴别所接收的报文是否为会话报文，当接收到会话报文时，执行所述会话报文封装为Kafka消息的步骤；当接收到非会话报文时，所述采集器直接通过非会话主题写入所述第二Kafka集群；

所述采集器通过会话主题将所述分析结果写入所述第二Kafka集群；

所述分析器集群中的分析器通过所述第二Kafka集群获取所述非会话主题下的报文和会话主题下的分析结果。