[发明专利]一种报文去重的方法、装置、电子设备及存储介质

权利要求书

1.一种报文去重的方法，其特征在于，包括：

获取各个报文采集节点当前上报的报文数据，并根据重复报文的判定内容，将各个报文数据解封为各个待判定报文数据，以及将获取报文数据的时间戳配置为其解封得到的待判定报文数据的时间戳；

确定所述时间戳对应的有效处理节点，其中，在各个处理节点映射为环形示意区域内的各个扇形区域后，将至少部分扇形区域存在于所述环形示意区域内的起始指针和终止指针之间的处理节点，作为有效处理节点，所述起始指针与所述终止指针在所述环形示意区域的指定方向上随时间转动，且夹角固定；

针对各个待判定报文数据，分别执行以下操作：

采用相互独立的N个哈希函数对一个待判定报文数据进行处理，得到对应的N个哈希值，并在确定各个有效处理节点各自关联的位向量中，存在与所述N个哈希值对应的N个位均被赋值的位向量时，判定所述一个待判定报文数据为重复报文数据，并将终止指针对应的目标处理节点关联的位向量中，与所述N个哈希值对应的N个位进行赋值后，丢弃所述一个待判定报文数据。

2.如权利要求1所述的方法，其特征在于，所述根据重复报文的判定内容，将各个报文数据解封为各个待判定报文数据，包括：

确定重复报文的判定内容为应用层内容时，将解封至应用层的各个报文数据作为各个待判定报文数据；或者，

确定重复报文的判定内容为会话层及以上层级内容时，将解封至所述会话层的各个报文数据作为各个待判定报文数据；或者，

确定重复报文的判定内容为网络层及以上层级内容时，将解封至所述网络层的各个报文数据作为各个待判定报文数据；或者，

确定重复报文的判定内容为数据链路层及以上层级内容时，将解封至所述数据链路层的各个报文数据作为各个待判定报文数据。

3.如权利要求1所述的方法，其特征在于，所述采用相互独立的N个哈希函数对一个待判定报文数据进行处理，得到对应的N个哈希值之后，进一步包括：

确定各个有效处理节点各自关联的位向量中，不存在与所述N个哈希值对应的N个位均被赋值的位向量时，判定所述一个待判定报文数据为非重复报文数据；

将所述一个待判定报文数据上报至网络可视化分析系统进行分析处理，并将终止指针对应的目标处理节点关联的位向量中，与所述N个哈希值对应的N个位进行赋值。

4.如权利要求1所述的方法，其特征在于，所述判定所述一个待判定报文数据为重复报文数据之后，所述将终止指针对应的目标处理节点关联的位向量中，与所述N个哈希值对应的N个位进行赋值之前，进一步包括：

确定所述N个位均被赋值的位向量所关联的一个有效处理节点，以及确定所述一个有效处理节点不是终止指针所对应的目标处理节点。

5.如权利要求1所述的方法，其特征在于，所述判定所述一个待判定报文数据为重复报文数据之后，进一步包括：

确定所述N个位均被赋值的位向量所关联的一个有效处理节点，以及确定所述一个有效处理节点是终止指针所对应的目标处理节点时，直接丢弃所述一个待判定报文数据。

6.如权利要求1-5任一项所述的方法，其特征在于，进一步包括：

将所述时间戳下的环形示意区域内，除有效处理节点所映射的扇形区域外的其他扇形区域设置为老化区域，将所述老化区域内的完整扇形区域所对应的处理节点设置为老化处理节点，并对老化处理节点关联的位向量中的各个位进行初始化处理。