[发明专利]一种实时查找持续且低频元素的方法、APT攻击检测方法和FRP检测方法

说明书

本发明涉及一种实时查找持续且低频元素的方法、APT攻击检测方法和FRP检测方法。该方法建立基于Sketch的紧凑数据结构PISketch，其第一部分是布隆过滤器，第二部分是带有若干个桶的哈希表；第一部分查询某个元素是否第一次出现在当前时间窗口，第二部分根据第一部分的查询结果计算每个元素的权重：当该元素第一次出现在当前时间窗口中时，增加该元素在当前窗口的权重作为奖励；当该元素在同一个时间窗口中超过第二次出现时，降低该元素的权重作为惩罚；提取总权重大于用户设置的阈值的元素作为持续且低频性元素输出。本发明实现了准确而高效地查找持续且低频性元素，在高处理速度的同时只需要很小的数据结构内存占用，能够用于APT攻击检测和FRP检测等场景。

技术领域

本发明涉及紧凑数据结构、网络测量领域，具体为一种利用Sketch来实时查找持续且低频元素的方法、APT攻击检测方法和FRP检测方法，可用于针对APT攻击和FRP的筛查。

背景技术

随着网络技术的快速发展与互联网应用的普及，网络安全变得日益重要。近年来，频发的高级持续性威胁(Advanced Persistent Threat，简称APT攻击)因其巨大的危害性受到广泛关注。APT攻击复杂且隐蔽的攻击手段使得在检测APT攻击时需要处理和分析大量数据。与此同时，伴随着网络规模的飞速扩张，网络信息数据量也在不断快速上升，庞大的数据量给APT攻击检测技术带来巨大的挑战。由于网络测量技术是获取检测APT攻击所需数据的主要手段，那么如果能够利用网络测量技术实现APT攻击检测，就可以缩小检测范围，从而提升检测工作的效率并降低检测成本。值得注意的是，APT攻击的典型特点就是更喜欢持久和隐蔽地侵入目标流数据库以逃避检测。因此，查找持续性和低频性的元素对于检测这类的攻击很重要。然而，现有的工作都没有专注于查找持续且低频性的元素。绝大多数最先进的技术都是关于查找频繁元素或者是查找持续性元素。

FRP(Fast Reverse Proxy)是一个内网穿透工具，开启的时候会时不时地进行短暂通讯来确认连接。为什么需要内网穿透功能？因为从公网中访问自己的私有设备往往是一件又难又麻烦的事情。对于公司而言，这可能涉及到保密，所以肯定是不允许(或者至少很谨慎)有这样的操作存在，因此肯定需要对FRP进行检测。而目前的已有方案往往是离线的，做不到实时检测。

目前一种直接的查找持续且低频元素的解决方案是各自查找持续性元素和低频性元素，并取它们的交集。用于查找持续性元素集的最先进算法是On-Off和PIE，而用于估计元素频数的最先进算法是基于紧凑数据结构(Sketch)的算法，例如Count-Min(CM)Sketch，但它们通常是用于查找频繁出现的元素。由于现实世界中的数据通常是Zipf分布，因此低频性元素在数量上总是非常大，但不如频繁的元素重要。据我们所知，目前没有工作专注于查找低频性元素。上述两类算法的取交集很明显不是针对查找持续性和低频性的元素的理想方法。事实上，因为持续性元素集和低频性集可能非常大，所以存储这两个集合会导致巨大的内存消耗。大内存消耗会直接导致处理速度变慢和时间复杂度高，因为这样的算法需要在快速的片上SRAM运行以实现高速处理，而且片上存储器的内存大小很有限。另外，这种方法可能导致用户需要配置大量的参数。总之，在数据流中查找持续且低频性元素的理想算法需要满足以下三个要求：高准确性、小内存占用和高处理速度。

发明内容

为了克服现有方法的处理速度慢、时间复杂度高、数据结构内存空间占用大、配置参数多的问题，本发明提供一种使用了紧凑数据结构的方法，该方法首次实现了准确而高效地查找持续且低频性元素，在高处理速度的同时只需要很小的数据结构内存占用，能够实现APT攻击检测。