[发明专利]一种基于时空统计的IP地址画像方法

说明书

本发明公开了一种基于时空统计的IP地址画像方法，该方法包括：使用Count‑Min Sketch和最小堆这两种数据结构来保存网络中每个IP的访问与被访问情况；利用每个IP地址的Sketch生成一组时空矩阵，从而得到每个IP地址的特征信息；在此基础上对IP地址进行层次式聚类，并根据聚类结果为每个IP地址打上伪标签，形成群体IP地址画像，再根据同一标签下IP地址的频繁访问与被访问记录形成对该类IP地址的解析，完成个体IP地址画像。本发明方法使用基于Count‑Min Sketch与最小堆的概率数据结构，大大减少存储空间的同时，也能保证面对实时海量流数据时数据记录的准确性，并配合基于时空统计的IP地址画像算法，分别利用网络流全局信息和IP访问模式信息完成群体IP地址画像和个体IP地址画像。

技术领域

本发明涉及关联数据挖掘与画像技术领域，具体涉及一种基于时空统计的IP地址画像方法。

背景技术

IP画像在现实的数据中心网络中很重要。面对海量的数据流，不仅需要正确统计每一个IP地址的访问与被访问次数，还需要根据其时空访问模式生成IP地址画像，以便于检测行为异常的IP地址，避免对网络内的其他服务功能造成不良影响。

相关技术主要聚焦于海量数据流的计数与关联数据挖掘上。每个IP地址访问其他IP地址和端口，都有时空模式与频次规律，希望通过提取IP地址的访问模式的特征信息，通过聚类形成IP地址画像，并自动打上伪标签。

然而在现实场景中网络数据流的规模是很大的，如何在花费尽可能少的空间开销情况下正确记录每一条数据流的信息，并在常数时间内完成流记录的查找，以及如何从存储的信息中提取出每个IP地址的时空模式与访问频次规律，这是需要思考和解决的问题。

发明内容

发明目的：针对上述问题，本发明提出一种基于时空统计的IP地址画像方法，能够从根本上解决现有画像算法无法对大规模网络流数据下IP地址的时空模式与访问频次规律进行细粒度刻画的问题。

技术方案：为了实现以上发明目的，本发明的技术方案如下：

一种基于时空统计的IP地址画像方法，包括以下步骤：

(1)为每个IP地址设置一个全局Count-Min Sketch(以下简称Sketch)，在接收到网络流数据报后，解析得到源IP地址、目的IP地址信息，将这些信息更新到每个IP地址对应的全局Sketch中；

(2)另外，将一天划分为若干个时间段，除了维护全局Sketch以外，每个时间段还需要为每个IP地址维护一个对应的局部Sketch，一个新时间段开始时，保存并清空前一个时间段的局部Sketch，这样一天下来，每个IP地址在每个时间段内的访问与被访问模式都被保存；

(3)根据得到的包含时空统计信息的全局Sketch与单个时间段Sketch，通过统计学方法与数据降维方法得到每个IP地址的特征信息；

(4)根据IP地址的特征信息，使用层次式聚类将IP地址进行分类，使每个IP地址得到对应的类别标签，完成IP地址群体画像；

(5)根据全局Sketch中记录的每个IP地址的频繁与被频繁访问对象，解析得到每个IP地址的活动模式、连接模式与语义模式，完成个体IP地址画像。

进一步地，所述步骤(1)中使用Count-Min Sketch数据结构根据哈希值的范围确定所需的存储空间，可以大大减少存储开销。

进一步地，Count-Min Sketch是一个w列d行的二维数组，参数w和d在创建时就已经确定，与查询的错误率有关，每一行与一个哈希函数相关联，共有d个相互独立的哈希函数。当新事件到来时，利用d个哈希函数获得d个对应的列索引，并且在每一行的对应位置上计数加一，查询阶段需要统计某个事件i的计数，可以类似地获得d个对应的列索引，然后取对应位置中的最小值。