[发明专利]一种报文去重的方法、装置、电子设备及存储介质

说明书

本公开涉及计算机网络技术领域，尤其涉及一种报文去重的方法、装置、电子设备及存储介质，用于解决进行报文去重处理时内存开销大，处理效率低的问题，方法为：确定处理后的各个待判定报文数据各自关联的时间戳，再确定据所述时间戳下的环形示意区域中的有效区域，然后针对各个处理后的待判定报文数据，计算对应一个待判定报文数据的N个哈希值后，判定所述一个待判定报文数据为重复报文数据，由终止指针所对应的处理节点记录后，丢弃所述一个待判定报文数据。这样，只需要为处理节点的位向量配置固定的存储空间，无需占用过多的内容，借助于对位向量的操作，即可判定是否接收到重复报文，极大提高了重复报文的处理效率。

技术领域

本公开涉及计算机网络技术领域，尤其涉及一种报文去重的方法、装置、电子设备及存储介质。

背景技术

随着网络安全的重要性逐渐提高，目前出于性能、安全性或者常规网络操作和管理的目的，提出了网络流量可视化分析，用以记录、检查、分析和挖掘网络流量或报文数据中的信息，并将分析结果以图形化方式呈现出来。而进行网络流量可视化分析的底层基础是对网络中实时传输的报文数据进行采集捕获，通常会在全网设置多个报文采集点，这使得应用层内容完全相同的一个报文，在不同的报文采集点处被采集，报文采集平台获得了多个重复报文，为避免浪费资源处理重复报文，报文去重处理显得至关重要。目前采用的报文去重方式需要占用过大的内存，极大影响了报文采集平台的处理性能。

发明内容

本公开实施例提供一种报文去重的方法、装置、电子设备及存储介质，用以解决现有技术中存在报文去重处理时内存开销大，处理效率低的问题。

本公开实施例提供的具体技术方案如下：

第一方面，提出一种报文去重的方法，包括：

获取各个报文采集节点当前上报的报文数据，并根据重复报文的判定内容，将各个报文数据解封为各个待判定报文数据，以及将获取报文数据的时间戳配置为其解封得到的待判定报文数据的时间戳；

确定所述时间戳对应的有效处理节点，其中，在各个处理节点映射为环形示意区域内的各个扇形区域后，将至少部分扇形区域存在于所述环形示意区域内的起始指针和终止指针之间的处理节点，作为有效处理节点，所述起始指针与所述终止指针在所述环形示意区域的指定方向上随时间转动，且夹角固定；

针对各个待判定报文数据，分别执行以下操作：

采用相互独立的N个哈希函数对一个待判定报文数据进行处理，得到对应的N个哈希值，并在确定各个有效处理节点各自关联的位向量中，存在与所述N个哈希值对应的N个位均被赋值的位向量时，判定所述一个待判定报文数据为重复报文数据，并将终止指针对应的目标处理节点关联的位向量中，与所述N个哈希值对应的N个位进行赋值后，丢弃所述一个待判定报文数据。

可选的，所述根据重复报文的判定内容，将各个报文数据解封为各个待判定报文数据，包括：

确定重复报文的判定内容为应用层内容时，将解封至应用层的各个报文数据作为各个待判定报文数据；或者，

确定重复报文的判定内容为会话层及以上层级内容时，将解封至所述会话层的各个报文数据作为各个待判定报文数据；或者，

确定重复报文的判定内容为网络层及以上层级内容时，将解封至所述网络层的各个报文数据作为各个待判定报文数据；或者，

确定重复报文的判定内容为数据链路层及以上层级内容时，将解封至所述数据链路层的各个报文数据作为各个待判定报文数据。

可选的，所述采用相互独立的N个哈希函数对一个待判定报文数据进行处理，得到对应的N个哈希值之后，进一步包括：

确定各个有效处理节点各自关联的位向量中，不存在与所述N个哈希值对应的N个位均被赋值的位向量时，判定所述一个待判定报文数据为非重复报文数据；