[发明专利]基于hash存储器的网络流高速关联方法

说明书

本发明涉及一种基于hash存储器的网络流高速关联方法，包括以下步骤：以IP分组的特征字段作为HASH散列表的输入，产生的散列比特作为存储区的高位地址；将符合上述特征字段的分组按顺序存储在以高位地址指明的地址范围内，并在存储区域尾部记录分组对应的流信息；当需要网络流关联时，在任一结点确定的分组特征字段，以此特征字段在其他结点作为HASH散列表的输入，确定所在的存储区域，并在此存储区域内搜索定位所要查找的分组。本发明具有多网络结点网络流关联速度快，关联时延有上限保证，关联数据流具有代表性等特点，具有很好的推广应用前景。

技术领域

本发明属于网络通信领域，具体涉及一种基于hash存储器的网络流高速关联方法。

背景技术

高速网络的数据采集分析是分析数据传输性能、诊断网络故障、判定分组传输服务质量的重要手段和方法之一。因为分组在网络中传输，途径多个结点，因此分析网络传输性能的重要方法是对经过多个结点的同一数据流做关联分析，例如观察从A结点何时收到，何时发出，B结点收到没有，如果收到了何时收到的，又是何时发出的，同理C结点是否收到、何时收到等等。通过对同一个流在多个结点的收发日志分析可以了解网络传输时延，分组丢失率及路径分布、路径变化等信息。然而，在网络传输带宽越来越高的今天，每个结点的存储和处理能力大大增强。例如每个结点可以存储1个T的数据，那么如果任取一个分组，需要在另外一个或多个结点中检索到该分组，需要非常长的时间。尤其是在网络结点数众多，数据存储量非常大的时候，不同结点上同一网络流的关联检索基本是“龟速”，远远无法满足用户实时了解观察网络流时延、分组丢失率变化情况的要求。一般像这样的位于不同结点的海量数据处理需要很长时间的离线处理，或者在数据量非常小时方能做到。

另外，在现有数据采集分析时，往往随机抓取一个分组进行关联分析，由于网络中存在明显的大象流(指持续时间非常长，分组数非常多的流量)和老鼠流(指持续时间很短，分组数很少的短流)，因此抓取的分组往往是大象流分组，而经常性地忽视短流性能，统计的时延、丢失率结果也缺乏代表性。无法代表网络普遍的性能指标。

发明专利CN104396216A公开了一种识别网络流量特征以关联和管理一个或多个后续流的方法、非临时性计算机可读介质和装置，包括将包括时间戳以及从客户端计算装置接收的HTTP请求中提取的一个或多个属性的监控请求发送至监控服务器以关联与所述HTTP请求相关的一个或多个后续流；在从所述监控服务器接收到对所述监控请求的确认响应后，所述HTTP请求被发送至应用服务器；从所述应用服务器接收对所述HTTP请求的HTTP响应；执行关于所述HTTP响应的操作。但是这个对特定流的管理和关联是用特定监控服务器实现的。

发明内容

本发明的目的在于提供一种基于hash存储器的网络流高速关联方法，解决在高带宽、多结点的网络中，针对同一流在多个结点上进行高速、实时的关联查找问题，以及在评估网络结点之间的传输性能如时延、丢包率等指标时，选择抽样分组的代表性问题。

实现本发明目的的技术方案为：一种基于hash存储器的网络流高速关联方法，包括以下步骤：

1)以IP分组的特征字段作为HASH散列表的输入，产生的散列比特作为存储区的高位地址；

2)将符合上述特征字段的分组按顺序存储在以高位地址指明的地址范围内，并在存储区域尾部记录分组对应的流信息；

3)当需要网络流关联时，在任一结点确定的分组特征字段，以此特征字段在其他结点作为HASH散列表的输入，确定所在的存储区域，并在此存储区域内搜索定位所要查找的分组。

与现有技术相比，本发明的显著优点为：(1)分组关联速度快，尤其在多结点、海量数据关联时，关联时间较传统关联搜索方法指数级减少；(2)本发明的流高速关联方法是在网络结点(路由器)本地实现的，不需要服务器；(3)由于存储区域大小是固定的，所以在一个结点上关联特定分组的搜索时间上限是确定的，便于软硬件实现。

附图说明