[发明专利]一种实时查找持续且低频元素的方法、APT攻击检测方法和FRP检测方法

权利要求书

1.一种实时查找持续且低频元素的方法，其特征在于，包括以下步骤：

建立基于Sketch的紧凑数据结构，其包括两部分，第一部分数据结构是布隆过滤器，第二部分数据结构是带有若干个桶的哈希表；

第一部分数据结构查询某个元素是否第一次出现在当前时间窗口，第二部分数据结构根据第一部分数据结构的查询结果计算每个元素的权重：当该元素第一次出现在当前时间窗口中时，增加该元素在当前窗口的权重作为奖励；当该元素在同一个时间窗口中超过第二次出现时，降低该元素的权重作为惩罚；

提取总权重大于用户设置的阈值的元素作为持续且低频性元素输出。

2.根据权利要求1所述的方法，其特征在于，所述布隆过滤器由M个位和k个哈希函数组成，每当新的时间窗口开始时，将布隆过滤器清空，每次一个元素来时，查询其是否第一次到来，如果是则将其插入到布隆过滤器中，然后将结果传递给第二部分数据结构进行权重计算；所述哈希表是一个带有U个桶的哈希表，根据第一部分数据结构的查询结果，这些桶对每个元素计算总权重，并尽可能保留权重可能超过用户设置的阈值T的元素；每个桶有p个单元格，每个单元格有三元组：元素ID、元素的总权重W和元素出现的窗口数量N；与该哈希表对应的哈希函数h(.)将元素随机映射到其中的一个桶。

3.根据权利要求2所述的方法，其特征在于，所述第二部分数据结构根据第一部分数据结构的查询结果计算每个元素的权重，包括：当一个元素第一次出现在给定的窗口中时，给该元素在当前窗口的权重W_i加上一个较大的初始值L作为奖励；当该元素在同一个窗口中超过第二次出现时，对它的权重W_i减1作为惩罚；所述布隆过滤器检查元素是否出现在当前窗口中，如果布隆过滤器报告为假，说明该元素没有出现在当前窗口中，则将该元素插入布隆过滤器中，并对该窗口执行两个操作：初始化在该窗口的权重W_i＝L和增加窗口数N＝N+1；否则，表示当前窗口中已经出现了该元素，将该元素对应的窗口的权重W_i减1，即，W_i＝W_i-1。

4.根据权利要求3所述的方法，其特征在于，采用以下步骤将元素映射到第二部分数据结构的哈希表的桶B_h：

如果存在包含该元素的单元格，直接更新该单元格的字段：将W_i添加到总权重W中，即，W←W+W_i，并将存储的窗口数量N更新为当前的N；

如果在B_h中找不到该元素并且B_h未满，那么将该元素存储在任意一个空单元格中。

将W设置为W_i，即，W←W+W_i。此时：W＝L，N＝1；

如果B_h中没有一个单元格包含该元素并且B_h没有任何空单元格，那么从B_h为该元素腾出空间。

5.根据权利要求4所述的方法，其特征在于，所述从B_h为该元素腾出空间，是选择一个元素m，其权重在B_h的所有元素中最小，然后使用替换策略驱逐B_h中权重最小的元素m；所述替换策略包括：每当发生替换时，将其权重W’减1，如果W’小于0，则表示替换成功，然后驱逐m，该元素占据m的位置，W设置为W_i+1，N设置为1；如果替换不成功，则该元素离开。

6.根据权利要求5所述的方法，其特征在于，所述替换策略为概率形式的替换，即以概率P将最小权重元素m的权重W’减1，其中P由用户自定义，保证其在(0,1)之间。

7.一种APT攻击检测方法，其特征在于，将需要筛查的原始数据流作为输入，采用权利要求1～6中任一权利要求所述方法查找得到持续性和低频性的元素，即为疑似的APT攻击流。