[发明专利]一种基于随机游走的流量特征自动生成方法与系统

说明书

本发明提供一种基于随机游走的流量特征自动生成方法与系统，通过对由流量内容生成的有向图进行分析，以随机游走方式遍历有向图，依据节点间的转移概率，提取多级流量特征，包括流量有向图构建、流量内容特征生成和流量结构特征生成等。以输入的网络流量数据构建规模化有向图，以多级随机游走方式挖掘出流量中隐含的特征。本发明可用于流量特征的提取以及恶意流量检测。

技术领域

本发明属于特征挖掘技术领域，特别涉及一种基于随机游走的流量特征自动生成方法与系统。

背景技术

随着互联网技术的应用与发展，互联网用户越来越多，且人均每天花费在互联网中的时间也与日俱增。据不完全统计，互联网用户人均每天上网近两小时，流量开销至少200M。因此，网络流量数据的规模及其巨大，其蕴含的信息量和价值也是众所周知，网络安全一直是计算机领域的软肋，网络攻击事件层出不穷。仅2017年上半年，发生的大规模网络攻击(包含信息泄露)事件超过十五起，受影响用户超过一亿，涉事机构超百家，泄露敏感数据数千G。但就目前为止，能够较好检测和防御网络攻击的方法，仍旧是基于网络流量恶意特征识别的方法。同时，恶意流量特征的生成一般是基于专家经验的手工生成以及提取最长最大公共子串方式。

同时，人们对于移动互联网设备的依赖性越来越严重，平均每人每天花费在移动电子设备上的时间超过3小时，而花费智能手机上的时间占了将近两个小时。而对于智能手机的使用情况进行分析，发现用户们对于手机的使用，主要集中在了对于智能手机中安装的APP的使用。而手机APP的种类繁多，目前用户常用的APP数量，就超过了10万个。这些APP所对应的属性，比如金融证券、聊天社交、摄影摄像等，在某种程度上，就反映着用户的个人属性。例如，经常使用金融证券的用户身份，很有可能就是证券经理、个人或企业投资者。那么，基于上述的可能性，如果能对可靠地用户APP使用行为进行分析画像，就能得到具有较高可信度的用户描述。但是，用户的APP使用行为属于用户隐私，常规方法无法获取大量的可靠用户APP使用行为样本。不过对于移动数据供应商而言，可以获取到用户的流量数据。如果，能从用户的移动设备流量中，识别出用户所使用的APP，则对于获取可靠的用户APP使用行为就成为了可能。

综上所述，流量特征对于当前诸多基于流量特征识别问题的解决，具有决定性作用。目前已经有一些方法来自动提取流量的识别特征了。其中一类是根据包字段作为流量特征的，包含IP地址、端口号、协议类型等。后来衍生除了深度包检测(DPI)方法提取流量指纹，提取包内容特征字符串。以及当前业界主流的最长最大公共子序列提取方法。但这些方法都有各自的局限性：

1、基于包字段的特征提取方法：当前的流量协议类型、端口号等常用字段都集中于常用的几种类型，包字段已经不再具有区分度，无法作为流量特征。

2、基于深度包检测的流量指纹提取方法：对流量格式有限制，无法通用化地提取所有类型的流量特征。

3、基于最长最大公共子序列提取方法：只能提取流量内容特征，在损失了精度的情况下，换取较低的误报率。

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提供一种基于随机游走的流量特征自动生成方法与系统，对输入的流量数据没有任何限制，可以适用于不同类型的流量特征生成；另外，采用多级有向图构建和随机游走方式，生成流量内容特征和结构特征，在低误报率的前提下，提高特征识别的精度。

为了实现上述目的，本发明采用的技术方案是：

一种基于随机游走的流量特征自动生成方法，其特征在于，包括：

S1，有向图表征流量：将流量内容，以单字节的十六进制数值作为节点所代表的内容，以单字节十六进制值在流量中的前后排列次序作为节点间有向边方向，以节点间的转移次数作为有向边的权重，构建流量内容有向图，表征流量；