[发明专利]基于FPGA的报文去重方法、装置及FPGA芯片

说明书

本申请公开了一种基于FPGA的报文去重方法，该方法中调用基于哈希值作为读取索引地址的查找表基于流水线操作进行报文重复匹配比对，提高了去重比对的效率；由于流量数据的哈希值相对于流量数据本身数据长度大大缩短，基于哈希值进行匹配比对可以提升匹配比对效率；而且该方法中将哈希值作为读取索引地址，依照哈希值可以直接读取查找表中的历史表项中与该哈希值相同的表项进行匹配比对，避免了历史流量数据的遍历匹配，显著提升重复比对效率，实现快速报文去重。本申请还提供了一种基于FPGA的报文去重装置、设备及一种可读存储介质，具有上述有益效果。

技术领域

本申请涉及图像处理技术领域，特别涉及一种基于FPGA的报文去重方法、装置及一种FPGA芯片。

背景技术

在网络分析监测领域，网络可视化采集分流设备的作用正越发重要。网络可视化采集中分流器通过将多条链路的流量数据进行采集，汇聚分流输出的方式，将链路中的数据流量引入到后端的分析服务器中，在可视化平台和用户数据链路中扮演了一个筛选分类的“物流”角色。

由于采集分流设备通常会完成多个链路汇聚并分流输出的功能，而多个链路通常对应多个链路的以太网分光点，这多个以太网分光点里有时会存在大量的相同的以太网数据流量，这些重复流量会加大后台分析服务器的处理压力，并增加后台处理的复杂程度。

为了解决链路重复报文过滤的问题，相关技术中提供了一种基于CPU平台的重复报文检测方法，该传统去重方法采用了五元组流表查找的方法，该方法去重对比速度较低，且对比精度不高，难以满足高效的数据处理需求，且面对大数据流量，对于重复报文检测端会产生较大的处理负担。

因此，如何实现大带宽下的高效快速报文去重处理，是本领域技术人员急需解决的问题。

发明内容

本申请的目的是提供一种基于FPGA的报文去重方法，该方法可以实现高效快速报文去重处理；本申请的另一目的是提供一种基于FPGA的报文去重装置及一种FPGA芯片。

为解决上述技术问题，本申请提供一种基于FPGA的报文去重方法，包括：

获取链路流量数据，对所述链路流量数据进行哈希计算，得到哈希值；

提取所述链路流量数据中的流量身份信息，并将所述流量身份信息以及所述哈希值作为所述链路流量数据的识别信息，添加至查找表的表项中；其中，所述查找表中自动清理添加时长超过阈值的表项；

将所述哈希值作为DDR索引地址，流水线执行所述查找表表项的读取以及表项匹配操作；

若不存在匹配表项，判定所述链路流量数据非重复报文，输出所述链路流量数据；若存在匹配表项，判定所述链路流量数据为重复报文，剔除所述链路流量数据。

可选地，自动清理所述查找表中添加时长超过阈值的表项的实现方法包括：

将所述识别信息添加至老化表的表项中，并在所述老化表的表项中添加带有表项添加时间的时间戳；其中，所述老化表为先入先出DDR缓存空间；

预读出所述老化表中最先写入的表项；

判断预读的表项的时间戳与当前时间的时间差是否超过所述阈值；

若是，删除所述老化表中所述预读的表项以及在所述查找表中对应的表项；若否，预设时长后执行预读出所述老化表中最先写入的表项的步骤。

可选地，所述基于FPGA的报文去重方法还包括：

在所述查找表的各表项添加重复老化计数器，并设置所述重复老化计数器的初始值为1；

若存在匹配表项，将所述匹配表项中的重复老化计数器加1；

当接收到所述老化表对于所述匹配表项的老化删除指令后，将所述匹配表项中的重复老化计数器减1；