[发明专利]一种基于概率测量数据结构Sketch的网络流量测量方法和系统

说明书

本发明涉及一种基于近似零误差的概率测量数据结构Sketch的网络流量测量方法和系统。该方法设立用于存储小流信息的CM‑Sketch数据结构和用于存储标号的数据结构；在网络流量测量过程中更新表项时，首先更新CM‑Sketch，然后基于对CM‑Sketch的观察来对存储标号的数据结构进行更新。在插入一条新的流的信息时，同时在设计的用于存储标号的数据结构中保存其标号信息以及时间戳；而在需要复原流量信息时，可根据该数据结构中存储的标号，求解方程组，得到精确的流量信息。本发明在未使得算法时间复杂度有较明显提升的前提下，解决了Elastic Sketch针对小流信息查询准确性不足的缺陷，并且能够支持瞬时查询。

技术领域

本发明涉及自然语言处理、压缩感知、网络数据流量分析、分布式数据集等多个重要领域，具体为一种基于Elastic Sketch的网络流量测量的改进方法和系统。

背景技术

目前，基于Sketch(略图)的网络测量方法是当下主流，有着广泛的应用和前景。而Count-Min(CM)Sketch(G.Cormode and S.Muthukrishnan.An improved data streamsummary:the count-min sketch and its applications.Journal of Algorithms,55(1):58–75,2005.)，即计数-最小略图，是使用最多，性能最好，最普适于各种数据的一种Sketch。它可以在高速网络环境中，实时地存储流量特征信息，只占用较小的空间资源，并且具备在理论上可证明的估计精度与内存的平衡特性。

然而，在多变的环境下，测量的性能会受到很大的影响。SIGCOMM’18的ElasticSketch(Tong Yang,Jie Jiang,Peng Liu,Qun Huang,Junzhi Gong,Yang Zhou,Rui Miao,Xiaoming Li,Steve Uhlig.Elastic Sketch:Adaptive and Fast Network-wideMeasurements.ACM SIGCOMM,2018.)对此设计了一个可以根据环境动态调整的测量框架，保持测量的稳定性和准确率。然而，该方法在统计数据时采用了会对真实值产生高估的CM-Sketch，并且为了节约存储空间，舍弃了小流(mice flows)的标号，导致部分小流的频数信息无法被准确还原的同时，查询结果的准确性也无法得到确认。其中，“小流”是指网络链路中总字节数较少的流，即具有较低的到达频数，包含少于c个包，其中常数c可根据需求选取不同数值定义。

Counter Braids(Yi Lu,Andrea Montanari,Balaji Prabhakar,SarangDharmapurikar,Abdul Kabbani.Counter braids:a novel counter architecture forper-flow measurement.ACM SIGMETRICS,36(1):121-132,2008.)是一种基于逐流测量的计数器(counter)结构改进方法。该方法通过随机图编织分层的计数器，解决了流测量的计数器空间和流-计数器的关联问题。通过共享流间计数器，显著减少了存储空间；利用随机图避免了流-计数器关联的存储。同时，该方法设计了一种低复杂度信息传输解码算法，能够以零误差恢复流长，从而可以在硬件中实施。然而，其缺点在于不支持流长的瞬间查询，这也导致实际生产中鲜少应用。

发明内容

为了解决现有的Elastic Sketch算法对于light part中流的查询准确度不足的问题，并克服现有的Counter Braids方法不支持瞬时查询的缺陷，本发明提供一种能够存储light part中流标号的改进的Elastic Sketch算法，且处理速率相当，同时利用CounterBraids中提出的解码算法思想，可以近乎无错地还原统计信息。本发明将这种改进后的网络流量测量方法称为Error-Free Sketch。