[发明专利]一种基于时空统计的IP地址画像方法

权利要求书

1.一种基于时空统计的IP地址画像方法，其特征在于，该方法包括以下步骤：

(1)为每个IP地址设置一个全局Count-Min Sketch，在接收到网络流数据报后，解析得到源IP地址、目的IP地址信息，将这些信息更新到每个IP地址对应的全局Count-MinSketch中；

(2)将一天划分为若干个时间段，除了维护全局Count-Min Sketch以外，每个时间段还需要为每个IP地址维护一个对应的局部Count-Min Sketch，一个新时间段开始时，保存并清空前一个时间段的局部Count-Min Sketch，这样一天下来，每个IP地址在每个时间段内的访问与被访问模式都被保存；

(3)根据得到的包含时空统计信息的全局Count-Min Sketch与单个时间段Count-MinSketch，通过统计学方法与数据降维方法得到每个IP地址的特征信息；

(4)根据IP地址的特征信息，使用层次式聚类将IP地址进行分类，使每个IP地址得到对应的类别标签，完成IP地址群体画像；

(5)根据全局Count-Min Sketch中记录的每个IP地址的频繁与被频繁访问对象，结合局部Count-Min Sketch解析得到每个IP地址的活动模式、连接模式与语义模式，完成个体IP地址画像。

2.根据权利要求1所述的一种基于时空统计的IP地址画像方法，其特征在于，与传统数据库使用键值对的存储形式不同，Count-Min Sketch数据结构根据哈希值的范围确定所需的存储空间，可以大大减少存储开销。

3.根据权利要求1所述的一种基于时空统计的IP地址画像方法，其特征在于，Count-Min Sketch是一个w列d行的二维数组，参数w和d在创建时就已经确定，与查询的错误率有关，每一行与一个哈希函数相关联，共有d个相互独立的哈希函数，当新事件到来时，利用d个哈希函数获得d个对应的列索引，并且在每一行的对应位置上计数加一，查询阶段需要统计某个事件i的计数，可以获得d个对应的列索引，然后取对应位置中的最小值。

4.根据权利要求1所述的一种基于时空统计的IP地址画像方法，其特征在于，为了方便对高频项进行记录与查询，为每个Count-Min Sketch设计了一个对应的最小堆，在每次更新Count-Min Sketch时一并更新最小堆，最后即可通过该最小堆获得流数据中的TopK项。

5.根据权利要求1所述的一种基于时空统计的IP地址画像方法，其特征在于，基础的Count-Min Sketch每一个单元格仅存储当前记录的频次，为了更好地获取信息，将单元格设计为长度为4的向量，每一位分别存储当前记录的频次、流量、Session号与端口信息，以便后续对Count-Min Sketch进行反查。

6.根据权利要求1所述的一种基于时空统计的IP地址画像方法，其特征在于，在步骤(1)中为了统计全局信息，构造五个Count-Min Sketch：CS_SIP、CS_DIP、CS_DIP_Port、CS_IP_Pair、CS_DIP_Pair_Port，分别记录每个源IP发起访问总数，每个目的IP接受访问总数，每个目的IP端口接收访问总数，主机之间访问总数，每个源IP访问服务器应用的总数。

7.根据权利要求1所述的一种基于时空统计的IP地址画像方法，其特征在于，在步骤(2)中将数据流以每15分钟分割成一个Session，同时为每个IP地址创建两个Count-MinSketch，分别记录其发起访问与接受访问时的IP地址及其频次，每个新Session到来时，在全局信息统计的基础上，进一步记录当前时间段内每个IP的访问与被访问情况，对每个IP地址进一步划分为client与server进行记录，并将其保存在该Session下每个IP地址对应的Count-Min Sketch中。