[发明专利]基于双层结构的数据流频次估计方法、系统及介质

说明书

本发明公开了一种基于双层结构的数据流频次估计方法、系统及介质，本发明方法包括通过第一层计数器结构、第二层计数器结构构成的双层结构来对收到的数据流计数，且其中第二层计数器结构用于记录第一层计数器结构中溢出的数据流；当需要查询数据流的频次估计值时，根据第一层计数器结构、第二层计数器结构中记录的数据流标识统计查询数据流的频次估计值。本发明可实现将大小流分开进行处理，针对性的对大小流进行特定的结构存储和计数，从而能够减少存储需求，提高大小流的评估精度。

技术领域

本发明涉及数据流处理技术，具体涉及一种基于双层结构的数据流频次估计方法、系统及介质。

背景技术

数据流存在于许多的应用场景中，如自然语言处理、图形流、多媒体流、网络流量、数据库等。我们可以通过对数据流的收集和分析，从中解析出有用的信息，来帮助和指导我们对数据流的管理和利用。比如，我们可以通过分析网络流量中项目的频次来检测重攻击(heavy hitters)、重大变化(heavy changer)、流大小分布和熵测量等信息。进一步分析通过链路的大量IP报文，我们可以发现与网络性能相关的事件，如检测网络阻塞和链路循环，评估内容的受欢迎程度等，这些事件对网络服务的用户体验有很大的影响。我们还可能发现可疑的有害活动，如蠕虫传播、DDOS攻击和网络扫描，这些活动极大地危害主机系统和网络基础设施的安全。

数据流本身具有传输快、范围广和持续久的特点，随着时间的推移和技术的不断进步与发展，这些特点变得越来越明显，同时数据的容量也变的越来越大。从全球范围来看，近年来IP流量增长迅猛。到2022年，每月的IP流量将达到每人50GB，与2017年(16GB)相比增长3.1倍左右。

数据流量频次估计是指在一定的测量周期内，对每个活动的网络流进行数据包数量的计数，长期以来一直是各种数据流应用中的一个关键问题，包括流量监控、负载平衡、容量规划等。近年来，在面对海量网络流量的情况下，实现流量的逐流测量、高速、无差错变得越来越具有挑战性。例如，在当今的数据中心，在很短的时间内(例如5ms)就可以出现数千个数据流。但是，始终需要跟踪所有流的大小(流的大小，即网络流中包的数量)，特别是在数据中心中。此外，现代数据中心网络已经扩展到100gbps甚至更高的速度；因此，以线路速率度量网络流量仍然是一个挑战。

传统的解决方案为数据流中的每个项保留一个计数器，其内存占用空间很容易地超过几个千兆位。如此大的内存消耗只能通过外部存储(例如多核处理器平台上的主存储器或连接到FPGA芯片的外部DRAM)来处理，这种解决方案受制于外部存储设备的低带宽，难以实现很高的吞吐量和很快的处理速度，同时由于数据流的速度和容量的增加，这种方法已经不能满足我们对数据流处理的需求。

因此，利用概率数据结构估计项目频次已经成为一种流行的方法，并得到了广泛的认可。Sketch方法是一种高精度的数据流估计方法，在固定存储中具有亚线性存储的复杂性。近年来，各种各样的Sketch方法被提出，并广泛应用于数据流处理中进行频次的估计。在Sketch方法中，存储的多少和精度的高低是一个正相关的关系，分配的存储越多，精度就越高，反之，在很小的存储空间上实现很高的精度是很难实现的。然而在数据爆炸的时代，可用存储空间实在有限，只能在尽可能少地增加存储成本的同时提高准确性，这也是一个极大的挑战。Sketch方法是一类被广泛应用在网络测量领域的概率数据结构。Sketch类方法往往利用哈希函数等概率方法将元素映射到连续的内存空间上，通过牺牲一定的准确性来达到较小的空间消耗和极快的常数级处理时间。这样的特性使得Sketch类方法能很好地应用到网络、数据库等涉及大流量数据流的估计中。