[发明专利]一种会话报文分析方法、装置及存储介质有效
申请号: | 202010884192.2 | 申请日: | 2020-08-28 |
公开(公告)号: | CN112134929B | 公开(公告)日: | 2022-05-27 |
发明(设计)人: | 王明辉 | 申请(专利权)人: | 新华三技术有限公司 |
主分类号: | H04L67/10 | 分类号: | H04L67/10;H04L69/22;H04L67/563;H04L12/46 |
代理公司: | 暂无信息 | 代理人: | 暂无信息 |
地址: | 310052 浙*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 会话 报文 分析 方法 装置 存储 介质 | ||
1.一种会话报文分析方法,其特征在于,该方法应用于配置有Kafka集群的采集器集群中,所述方法包括:
采集器集群中的采集器作为Kafka集群的生产者,在接收到会话报文时,将会话封装成Kafka消息,并以重定向主题发送给采集器上的Kafka集群的代理,所述Kafka消息的关键字由所述会话报文的五元组生成;
Kafka集群中的代理接收到重定向主题的Kafka消息时,基于Kafka消息中的关键字与分区的映射关系,将Kafka消息发送到与关键字对应的分区中,以使属于同一会话的报文被传送给同一采集器;
采集器作为消费者从指定分区中获取Kafka消息,对其中存储的属于同一会话的会话报文进行分析,并将分析结果传送给分析器集群。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在所述采集器集群与分析器集群之间还布置有第二Kafka集群;
所述采集器接收到报文后根据报文头部的类型字段鉴别所接收的报文是否为会话报文,当接收到会话报文时,执行所述会话报文封装为Kafka消息的步骤;当接收到非会话报文时,所述采集器直接通过非会话主题写入所述第二Kafka集群;
所述采集器通过会话主题将所述分析结果写入所述第二Kafka集群;
所述分析器集群中的分析器通过所述第二Kafka集群获取所述非会话主题下的报文和会话主题下的分析结果。
3.根据权利要求1所述的方法,其特征在于,
所述五元组包括源地址、目的地址、协议类型、原端口、目的端口,在生成所述关键字之前,对所述源地址和目的地址的位置进行调整,以使得这两个地址按大小顺序排列。
4.根据权利要求1所述的方法,其特征在于,
所述Kafka消息中的关键字与分区的映射关系通过关键字的哈希值与分区数取模来获得。
5.根据权利要求1所述的方法,其特征在于,
在所述重定向主题下,为所述采集器集群中的每一个采集器配置不同的分区,通过关键字与分区的映射关系,将包含会话报文的Kafka消息分散均衡地写入到位于不同采集器的分区中;多个采集器分别从不同的分区中获取属于同一会话的报文并对会话报文进行分析。
6.一种会话报文分析装置,其特征在于,该装置应用于配置有Kafka集群的采集器集群中采集器中,所述装置包括:
会话报文重定向模块,用于在接收到会话报文时,将会话封装成Kafka消息,并以重定向主题发送给Kafka集群的代理,所述Kafka消息的关键字由所述会话报文的五元组生成;
Kafka代理模块,用于在接收到重定向主题的Kafka消息时,基于Kafka消息中的关键字与分区的映射关系,将Kafka消息发送到与关键字对应的分区中,以使属于同一会话的报文被传送给同一采集器;
分析模块,用于从指定分区中获取Kafka消息,对其中存储的属于同一会话的会话报文进行分析,并将分析结果传送给分析器集群。
7.根据权利要求6所述的装置,其特征在于,
所述会话报文重定向模块接收到报文后,根据报文头部的类型字段鉴别所接收的报文是否为会话报文,当接收到会话报文时,执行所述会话报文的Kafka消息封装处理;当接收到非会话报文时,直接通过非会话主题写入位于所述采集器集群与分析器集群之间的第二Kafka集群;
所述分析模块通过会话主题将所述分析结果写入所述第二Kafka集群,使得所述分析器集群中的分析器通过所述第二Kafka集群获取所述非会话主题下的报文和会话主题下的分析结果。
8.根据权利要求6所述的装置,其特征在于,
所述五元组包括源地址、目的地址、协议类型、原端口、目的端口,在生成所述关键字之前,对所述源地址和目的地址的位置进行调整,以使得这两个地址按大小顺序排列。
9.根据权利要求6所述的装置,其特征在于,
所述Kafka消息中的关键字与分区的映射关系通过关键字的哈希值与分区数取模来获得。
10.一种存储介质,其上存储有计算机程序,其特征在于,所述计算机程序当被处理器执行时实现如权利要求1至5中任一项的方法步骤功能。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于新华三技术有限公司,未经新华三技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010884192.2/1.html,转载请声明来源钻瓜专利网。