[发明专利]一种简单高效的多链路数据去重方法

说明书

本发明公开了一种简单高效的多链路数据去重方法，包括：获取接收端接收的若干个链路数据包：分别确定若干个链路数据包的类型并进行分类，确定为第一链路数据包集合及第二链路数据包集合；所述第一链路数据包集合包括多个第一链路数据包，所述第一链路数据包为链路碎片数据；所述第二链路数据包集合包括多个第二链路数据包，所述第二链路数据包为链路完整数据；分别判断第一链路数据包集合中的第一链路数据包是否为冗余包，筛选出为冗余包的第一链路数据包并进行去重处理；分别判断第二链路数据包集合中的第二链路数据包是否为冗余包，筛选出为冗余包的第二链路数据包并进行去重处理。提高了去重效率。

技术领域

本发明涉及数据处理技术领域，特别涉及一种简单高效的多链路数据去重方法。

背景技术

随着设备冗余技术的不断发展，在通信领域应用广泛。在数据通信过程中，为了保证链路能实现最大可靠性的数据传输，多链路设备在传输原始用户数据时，会进行三级冗余传输，这样可以保证接收端接收到数据的完整度，避免因在数据传输过程中的丢包等导致的数据不完整。但是基于三级冗余传输也会出现接收端在进行数据重组时，收到重复的碎片数据，冗余碎片过多，会占用更多的内存，同时占用内存垃圾回收处理时间。更极端的情况下，多条链路发送端为了保证最大的可靠性的传输，可能对原始用户数据进行多份复制，发送到多链路设备接收端，如果这些数据包都向接收端的业务口输出，一方面加重了后级处理负担，另一方面也可能会影响到业务软件处理结果。

现有技术中对接收端获取的冗余数据存在数据去重不彻底，去重效率低且去重不准确的问题，基于去重不准确会导致重组的数据出现不完整的现象，导致系统根据不完整数据做出的错误控制，影响系统的安全性及可靠性。

发明内容

本发明旨在至少一定程度上解决上述技术中的技术问题之一。为此，本发明的目的在于提出一种简单高效的多链路数据去重方法，准确确定数据包的类型，根据分类后的数据包准确判断是否为冗余包，进而采取不同的去重方法，提高了对数据包的去重效率；一方面尽可能的降低接收端所占用的系统资源，如内存，cpu处理时间等，另一方面对于用户而言，不管发送端怎样发送数据，接收端最终只收到一份原始数据，用户业务层面不会受到任何不利的影响，保证了在接收端进行重组后数据的完整度及准确度，提高了数据传输的质量，同时避免了基于去重不准确会导致重组的数据出现不完整的现象，进而导致系统根据不完整数据做出的错误控制的发生，提高了系统的安全性及可靠性，对多链路数据去重更加的简单高效。

为达到上述目的，本发明实施例提出了一种简单高效的多链路数据去重方法，包括：

获取接收端接收的若干个链路数据包：

分别确定若干个链路数据包的类型并进行分类，确定为第一链路数据包集合及第二链路数据包集合；所述第一链路数据包集合包括多个第一链路数据包，所述第一链路数据包为链路碎片数据；所述第二链路数据包集合包括多个第二链路数据包，所述第二链路数据包为链路完整数据；

分别判断第一链路数据包集合中的第一链路数据包是否为冗余包，筛选出为冗余包的第一链路数据包并进行去重处理；

分别判断第二链路数据包集合中的第二链路数据包是否为冗余包，筛选出为冗余包的第二链路数据包并进行去重处理。

根据本发明的一些实施例，分别判断第一链路数据包集合中的第一链路数据包是否为冗余包，筛选出为冗余包的第一链路数据包并进行去重处理，包括：

获取历史第一链路数据包的源id，并建立去重红黑树；

所述去重红黑树包括多个树节点，每一个树节点中存储有源端口、目的端口及历史第一链路数据包序号；

根据每一个树节点中存储的源端口、目的端口及历史第一链路数据包序号建立第一hash表；

所述第一hash表包括多个第一节点，所述每个第一节点中存储有历史信息；